[論文レビュー] Reasoning with Memory Augmented Neural Networks for Language Comprehension

Tsendsuren Munkhdalai, Hong Yu|arXiv (Cornell University)|Oct 20, 2016

Topic Modeling被引用数 8

ひとこと要約

本稿では、言語理解における人間の仮説検証を模倣するメモリ拡張ニューラルネットワーク（NSE）フレームワークを提案する。動的推論ループを用い、仮説を繰り返し精錬・検証することで、適応的計算と停止メカニズムを介して、CBBとWDWのcloze形式QAベンチマークで最先端の結果を達成した。停止ヘッドによって制御される適応的計算により、先行手法より1.2%から2.6%の精度向上を達成した。

ABSTRACT

Hypothesis testing is an important cognitive process that supports human reasoning. In this paper, we introduce a computational hypothesis testing approach based on memory augmented neural networks. Our approach involves a hypothesis testing loop that reconsiders and progressively refines a previously formed hypothesis in order to generate new hypotheses to test. We apply the proposed approach to language comprehension task by using Neural Semantic Encoders (NSE). Our NSE models achieve the state-of-the-art results showing an absolute improvement of 1.2% to 2.6% accuracy over previous results obtained by single and ensemble systems on standard machine comprehension benchmarks such as the Children's Book Test (CBT) and Who-Did-What (WDW) news article datasets.

研究の動機と目的

• 人間の仮説検証を模倣する認知科学的インスピレーションを受ける推論フレームワークの開発。
• 固定ステップ数のマルチステップモデルの限界を克服し、可変な計算ステップを伴う動的で適応的な推論を可能にする。
• 繰り返し仮説の精錬と検証を通じて、cloze形式の質問応答タスクのパフォーマンスを向上させる。
• 選択的メモリアクセス、構成、推論中の制御的停止を支援するメモリ拡張アーキテクチャの設計。
• 序列変換タスクにおける終端的バックプロパゲーション学習と停止戦略の有効性を実証する。

提案手法

• 各ステップでクエリを再帰的に回帰し、新たな仮説を生成し、文書コンテキストと照合する仮説-検証ループを採用する。
• 外部メモリを操作し、共有および複数のメモリアクセスをサポートする、リード・コンポジット・ライトモジュールを備えたニューラル意味エンコーダ（NSE）アーキテクチャ。
• 2つの停止戦略を導入：クエリゲーティング（関連するクエリ語のメモリ上書きを防止）と、確率的停止ヘッドを備えた適応的計算。
• 適応的計算モデルは、停止ヘッドを用いていつ停止するかを決定し、固定ステップ数ではなく可変長の推論を可能にする。
• 標準的なバックプロパゲーションを用いたエンドツーエンドの学習を実施し、強化学習（例：REINFORCE）への拡張も可能。
• 複数の仮説反復を許容する柔軟な推論を可能とする。メモリロックはベースライン比較として用いられる。

実験結果

リサーチクエスチョン

• RQ1 動的仮説-検証ループを備えたメモリ拡張ニューラルネットワークは、固定ステップ数モデルを上回る機械理解性能を達成できるか？
• RQ2 学習可能な停止メカニズムを備えた適応的計算は、cloze形式QAタスクのパフォーマンスにどのように影響するか？
• RQ3 クエリゲーティングは、繰り返し推論中に関連するクエリ情報の消失（深刻な忘却）を防げるか？
• RQ4 提案された推論ループは、固定で大きなステップ数を有するモデルと比較して、どの程度過学習を低減するか？
• RQ5 NSEモデルはアンサンブル手法を用いずに、CBTやWDWといった標準ベンチマークで最先端のパフォーマンスを達成できるか？

主な発見

• 適応的計算を備えたNSEモデルは、CBT-NEタスクで73.2%の新たな最先端精度を達成し、先行モデルを1.2%上回った。
• CBT-CNタスクでは、先行結果を2.6%上回る精度を達成し、人間と機械のパフォーマンスギャップを9.6%に縮小した。
• NSEクエリゲーティングモデルは、CBT-NEで72.6%、CBT-CNで72.0%の精度を達成し、T=9ステップで最適性能を示した。
• T=12ステップのモデルは、頑健性と高いテスト精度を示し、固定された大きなT値に比べて過学習が低減していることを示した。
• NSE適応的計算モデルは、CBT-NEでスタンフォードのアテンティブリーダーを2.2%上回り、CBT-CNでは1.7%上回り、4つのタスクのうち3つで新たな最先端を樹立した。
• T=15の場合、過学習が顕著に増加した（CBT-NEの開発セットで79.2%、テストセットで71.4%）。固定された大きな計算ステップ数に比べ、適応的停止が優れていることが確認された。