[論文レビュー] Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension

Yichen Jiang, Nitish Joshi+2 more|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 33被引用数 9

ひとこと要約

本稿では、推論木を介して関連ドキュメントを探索し、各経路に沿って答えを提案し、すべての経路からの証拠を統合して最終的な答えを予測する、解釈可能性のある3モジュールモデルEPArを提案する。EPArはWikiHopおよびMedHopでSOTA性能を達成しており、ベースラインより顕著な向上を示し、回収可能な推論経路により高い解釈可能性を実現している。

ABSTRACT

Multi-hop reading comprehension requires the model to explore and connect relevant information from multiple sentences/documents in order to answer the question about the context. To achieve this, we propose an interpretable 3-module system called Explore-Propose-Assemble reader (EPAr). First, the Document Explorer iteratively selects relevant documents and represents divergent reasoning chains in a tree structure so as to allow assimilating information from all chains. The Answer Proposer then proposes an answer from every root-to-leaf path in the reasoning tree. Finally, the Evidence Assembler extracts a key sentence containing the proposed answer from every path and combines them to predict the final answer. Intuitively, EPAr approximates the coarse-to-fine-grained comprehension behavior of human readers when facing multiple long documents. We jointly optimize our 3 modules by minimizing the sum of losses from each stage conditioned on the previous stage's output. On two multi-hop reading comprehension datasets WikiHop and MedHop, our EPAr model achieves significant improvements over the baseline and competitive results compared to the state-of-the-art model. We also present multiple reasoning-chain-recovery tests and ablation studies to demonstrate our system's ability to perform interpretable and accurate reasoning.

研究の動機と目的

• 複数のドキュメントに散在する証拠を扱うマルチホップ読解の課題に対処すること。
• ドキュメントのチェーンとしての推論木を構築することで、人間の粗いから細かい推論に類似したプロセスをモデル化すること。
• 複数の分岐する推論経路を回収・分析することで、解釈可能な推論を可能にすること。
• すべての妥当な推論経路からの証拠を集約することで、答え予測の精度を向上させること。

提案手法

• ドキュメントエクスプローラは階層的メモリネットワークを用い、反復的に関連ドキュメントを選択し、分岐する経路の推論木を構築する。
• 各ホップで、クエリに対する関連性に基づいてドキュメントを選択し、キーフレーズと関係をメモリセルに更新する。
• アンサー・プロポーザーは、先祖のドキュメントに注目し、各経路の末端で単語レベルの表現をエンコードすることで、候補となる答えを生成する。
• エビデンス・アセンブラーは、各ルートからリーフへの経路から重要な文を抽出し、それらを統合して最終的な答え予測用の要約文脈を生成する。
• 全システムは、各モジュールの損失の合計を最小化することで、前段の出力を条件として共同最適化される。
• 外部の関係アノテーションに依存しないようにし、注目メカニズムとメモリ機構を通じて関係を暗黙的に学習する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーで解釈可能なアーキテクチャは、エンドツーエンドモデルを上回る性能をマルチホップ読解で達成できるか？
• RQ2 複数の分岐する推論経路を、複数ドキュメントの文脈で効果的に探索・表現できるか？
• RQ3 モデルの推論プロセスが、人間が回収・解釈できる程度にまで回復可能か？
• RQ4 複数の推論経路からの証拠集約は、答え予測の正確性を向上させられるか？
• RQ5 提案された3段階（探索・提案・統合）アーキテクチャは、マルチホップQAベンチマークにおけるロバスト性と一般化性能を向上させるか？

主な発見

• WikiHop開発セットでは、EPArは以前に発表されたすべてのモデルを上回り、ベースラインとの顕著な改善を示した。
• WikiHopテストセットでは、EPArはSOTAモデルと比較して競争力のある結果を達成した。
• MedHopランクイングテストセットでは、EPArは以前に発表されたすべてのモデルを上回った。
• アブレーションスタディにより、各モジュール（探索、提案、統合）が最終性能に有意義に寄与することが確認された。
• 推論経路回収テストでは、EPArが妥当な推論経路を再構築・トレースできることを示し、解釈可能性の妥当性を裏付けた。
• モデルは、経路を木構造として表現し、すべての分岐からの証拠を統合することで、分岐する経路を効果的に処理できた。