[論文レビュー] ReasoNet: Learning to Stop Reading in Machine Comprehension

Yelong Shen, Po-Sen Huang+2 more|arXiv (Cornell University)|Sep 17, 2016

Topic Modeling参考文献 17被引用数 76

ひとこと要約

本稿では、多ターン推論中に終了意思決定を学習することで、読破をいつ停止するかを動的に決定するニューラルネットワークアーキテクチャReasoNetを提案する。インスタンスに依存する報酬ベースラインを用いた深層強化学習により、SQuAD、CNN/Daily Mail、構造的グラフ到達可能性データセットの3つのベンチマークで、質問や文書の複雑さに応じて推論深さを適応させる手法として、先行手法を上回る性能を発揮した。

ABSTRACT

Teaching a computer to read and answer general questions pertaining to a document is a challenging yet unsolved problem. In this paper, we describe a novel neural network architecture called the Reasoning Network (ReasoNet) for machine comprehension tasks. ReasoNets make use of multiple turns to effectively exploit and then reason over the relation among queries, documents, and answers. Different from previous approaches using a fixed number of turns during inference, ReasoNets introduce a termination state to relax this constraint on the reasoning depth. With the use of reinforcement learning, ReasoNets can dynamically determine whether to continue the comprehension process after digesting intermediate results, or to terminate reading when it concludes that existing information is adequate to produce an answer. ReasoNets have achieved exceptional performance in machine comprehension datasets, including unstructured CNN and Daily Mail datasets, the Stanford SQuAD dataset, and a structured Graph Reachability dataset.

研究の動機と目的

• 既存の機械理解モデルにおける固定深さの推論という制限を解消すること。これは、質問や文書の複雑さに応じて適応しない。
• 中間情報に基づいて、人間の読解行動に似せた終了タイミングの学習を可能にすることで、ニューラルネットワークが理解プロセスの終了を学習できるようにすること。
• 単純なケースでは過剰処理を避け、複雑なケースでは不十分な処理を避ける、学習可能な動的推論深さのメカニズムを開発すること。
• インスタンスに依存するベースラインを用いた強化学習による離散的終了ゲートの訓練という課題を克服すること。
• 非構造的および構造的データセットを含む多様な機械理解ベンチマークで、最先端の性能を達成すること。

提案手法

• モデルは複数ターンの推論機構を採用し、文書およびクエリの異なる部分に逐次注目することで、ターンを重ねるごとに理解を精緻化する。
• 各推論ステップで終了ゲートが、継続するか停止するかを予測する。その決定は、現在の隠れ状態および中間的推論に基づく。
• 終了ポリシーの訓練には深層強化学習を用い、正答率に基づく報酬信号と、分散を低減するインスタンスに依存するベースラインを採用する。
• 最終的な答えは、終了ステップでの隠れ状態から予測され、ポリシー勾配法を用いてエンドツーエンドでモデルが訓練される。
• ゲート付き再帰ユニットとアテンションメカニズムを統合することで、クエリ、文書、中間的推論状態の間の複雑な依存関係をモデル化する。
• 最大推論ステップ数はハイパーパrameterとして設定されるが、実際の使用ステップ数は終了ゲートによって動的に決定される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、入力の複雑さに基づいて、機械理解の過程でいつ読破を停止するかを動的に学習できるか？
• RQ2 学習可能な終了メカニズムにより推論深さを可変化させることで、多様な機械理解タスクでの性能が向上するか？
• RQ3 インスタンスに依存する報酬ベースラインの使用は、離散的決定ゲートを備えたモデルの訓練安定性および収束性にどのように影響するか？
• RQ4 ReasoNetの動的推論深さは、質問や文書の内在的難易度とどの程度相関しているか？
• RQ5 ReasoNetは、非構造的（例：SQuAD、CNN/Daily Mail）および構造的（例：グラフ到達可能性）な理解タスクに一般化できるか？

主な発見

• ReasoNetは、スタンフォードSQuADデータセットで最先端の性能を達成し、提出時における公式テストセットリーダーボードで2位を記録した。
• CNN/Daily Mailデータセットでは、既存手法を上回り、非構造的ニュース記事における優れた推論能力を示した。
• 構造的グラフ到達可能性データセットでは、小規模グラフセットで100％の正答率、大規模グラフセットで78.95％の正答率を達成し、形式的推論タスクへの強い一般化能力を示した。
• ReasoNetはReasoNet-Lastベースラインと比較して著しく高速に収束した—小規模グラフでは20エポック、大規模グラフでは40エポックで収束したのに対し、ベースラインはそれぞれ40エポックおよび70エポックを要した。これは、訓練効率の向上を示している。
• 終了ステップの分布は複数のターンにわたり広がっており、小規模グラフでは16％、大規模グラフでは35％のインスタンスが最終ステップで終了した。これは、複雑さに応じた適応性を示している。
• グラフ内のBFSステップ数（経路長）とReasoNetが使用する推論ステップ数との間に強い相関が観察された。これは、モデルが問題の難易度に応じて推論深さを適応させていることを確認している。