[論文レビュー] Working Memory Networks: Augmenting Memory Networks with a Relational Reasoning Module

Juan Pavez, Héctor Allende+1 more|arXiv (Cornell University)|May 23, 2018

Topic Modeling参考文献 15被引用数 6

ひとこと要約

本論文では、関係推論モジュールを統合した階層的アテンション機構を備えたメモリネットワークアーキテクチャ、Working Memory Network (W-MemNN) を提案する。このアーキテクチャにより、計算複雑度を O(n²) から O(n) に低減しつつ、関係推論性能を維持する。モデルは、bAbI-10k ベンチマークで共同学習された状態で、平均誤差 0.5% 未満を達成し、単純な2モデルアンサンブルで20のタスクすべてを解決した。

ABSTRACT

During the last years, there has been a lot of interest in achieving some kind of complex reasoning using deep neural networks. To do that, models like Memory Networks (MemNNs) have combined external memory storages and attention mechanisms. These architectures, however, lack of more complex reasoning mechanisms that could allow, for instance, relational reasoning. Relation Networks (RNs), on the other hand, have shown outstanding results in relational reasoning tasks. Unfortunately, their computational cost grows quadratically with the number of memories, something prohibitive for larger problems. To solve these issues, we introduce the Working Memory Network, a MemNN architecture with a novel working memory storage and reasoning module. Our model retains the relational reasoning abilities of the RN while reducing its computational complexity from quadratic to linear. We tested our model on the text QA dataset bAbI and the visual QA dataset NLVR. In the jointly trained bAbI-10k, we set a new state-of-the-art, achieving a mean error of less than 0.5%. Moreover, a simple ensemble of two of our models solves all 20 tasks in the joint version of the benchmark.

研究の動機と目的

• 標準的なメモリネットワーク（MemNNs）が、注意に基づく検索にとどまり、より深い推論ができないという点を解決する。
• 関係ネットワーク（RNs）の二次的計算コスト（メモリサイズの増加に伴いスケーリングが著しく悪化する）を克服する。
• 効率性と解釈可能性を保ちつつ、アテンション機構を通じてメモリネットワークフレームワークに関係推論を統合する。
• 特に視覚的質問応答の文脈において、外部のNLPツールに依存せずに生の入力文からエンドツーエンド学習を可能にする。
• メモリネットワークと関係推論を組み合わせたハイブリッドアーキテクチャが、複雑な推論ベンチマークで最先端の性能を達成できることを示す。

提案手法

• モデルは、テキストまたは視覚的入力をベクトル表現に変換するGRUベースの入力モジュールを用い、短期記憶領域に保存する。
• アテンション制御部が複数のホップを経て、関連するメモリベクトルに注目し、各ステップでコンパクトなワーキングメモリバッファを更新する。
• 関係推論モジュールはワーキングメモリバッファの内容を処理し、線形時間でエンティティ間の関係性に関する推論を可能にする。
• アテンション機構により不要な情報をフィルタリングし、関係推論の計算量を削減することで、スケーラブルな推論を実現する。
• 視覚的質問応答の文脈では、アテンション重みを計算するために、メモリベクトルと文書ベクトルの連結を全結合ネットワークに与えるアドディティブアテンション機構を用いる。
• アーキテクチャはクロスエントロピー損失を用いてエンドツーエンドで学習され、複数のホップにわたる反復的アテンションと推論ステップを通じて推論が行われる。

実験結果

リサーチクエスチョン

• RQ1 関係推論を統合したメモリネットワークアーキテクチャは、二次的計算コストを伴わずに、複雑な推論タスクを解けるか？
• RQ2 関係推論モジュールの統合は、bAbI のようなマルチホップ推論ベンチマークでの性能にどのように影響するか？
• RQ3 提案手法は、タスク固有の微調整なしに、共同学習された bAbI-10k でどの程度最先端の結果を達成できるか？
• RQ4 構造化された言語前処理を必要とせず、生の入力文のみで視覚的質問応答を実行できるか？
• RQ5 提案されたアーキテクチャは、スケーラブルな関係推論を可能にしつつ、アテンション重みを通じて解釈可能性を維持できるか？

主な発見

• W-MemNN は、共同学習された bAbI-10k ベンチマークで平均誤差 0.5% 未満を達成し、新たな最先端性能を樹立した。
• 2つの W-MemNN モデルの単純なアンサンブルが、bAbI-10k の20タスクすべてを解決し、強力な一般化性能を示した。
• NLVR 視覚的質問応答データセットでは、モジュールニューラルネットワークと同等の性能を達成したが、入力処理に外部NLPツールを必要としなかった。
• ウォールクロックタイムの測定結果から、30個のメモリを処理する際、W-MemNN は標準的な RNs より 20倍高速であり、1バッチあたりの処理時間を 930秒から 50秒に短縮した。
• 定性的な分析から、関係推論が必要なタスクにおいて、関係推論モジュールが不可欠であることが確認され、アテンション重みが関連するメモリ相互作用を明確に示した。
• 推論モジュールの計算複雑度は、メモリ数に比例して線形に増加するが、標準的な RNs とは異なり二次的増加を示さないため、大規模問題にも適用可能である。