[論文レビュー] Cognitive Graph for Multi-Hop Reading Comprehension at Scale

Ming Ding, Chang Zhou+3 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 29被引用数 28

ひとこと要約

本稿では、人間の二重プロセス的推論を模倣するため、暗黙の検索システム（System 1）と明示的な推論システム（System 2）を統合した、スケーラブルなマルチホップ読解のための認知的グラフベースのフレームワーク、CogQAを提案する。BERTとグラフニューラルネットワーク（GNN）を用いて、HotpotQA fullwikiベンチマークでSOTAのF₁スコア34.9を達成し、従来手法を著しく上回り、説明可能でエンティティレベルの推論経路を提供する。

ABSTRACT

We propose a new CogQA framework for multi-hop question answering in web-scale documents. Inspired by the dual process theory in cognitive science, the framework gradually builds a extit{cognitive graph} in an iterative process by coordinating an implicit extraction module (System 1) and an explicit reasoning module (System 2). While giving accurate answers, our framework further provides explainable reasoning paths. Specifically, our implementation based on BERT and graph neural network efficiently handles millions of documents for multi-hop reasoning questions in the HotpotQA fullwiki dataset, achieving a winning joint $F_1$ score of 34.9 on the leaderboard, compared to 23.6 of the best competitor.

研究の動機と目的

• スケーラブルなオープンドメイン質問応答における複雑なマルチホップ推論の課題に取り組む。
• 文書レベルのサポートではなく、順序付きエンティティレベルの推論経路を提供することにより、QAシステムの説明可能性を向上させる。
• グラフベースの検索と推論フレームワークを用いて、数百万件のウェブ規模ドキュメント上で効率的な推論を可能にする仕組みを提供することで、スケーラビリティを強化する。
• ブラックボックスモデルの限界を克服するため、人間らしい認知的プロセスである高速（System 1）と遅速（System 2）の思考を統合した一貫したアーキテクチャを統合する。
• 認知的グラフによる構造化された推論が、マルチホップQAにおける正確性と解釈可能性の両方を向上させることを示す。

提案手法

• フレームワークは、二重プロセス理論を模倣した二系統アーキテクチャを採用する：System 1（暗黙的）はBERTを用いて質問に関連するエンティティと答え候補を抽出する。
• System 2（明示的）は、動的に構築された認知的グラフ上でグラフニューラルネットワーク（GNN）を用いて推論を行い、ノード表現を更新する。
• 認知的グラフは反復的に拡張される：System 1は先行ノードからの手がかりに基づいて新しいホップノードと答えノードを生成するが、System 2は推論信号によってプロセスをガイドする。
• グラフ内の各ノードはエンティティまたは答え候補を表し、エッジは文脈から導かれる意味的または関係的接続を示す。
• System 1は質問に適合した符号化により初期の意味的表現を生成するが、System 2はグラフ上のメッセージパッシングにより隠れ状態を更新する。
• 新しいフロントイェルノードが存在しなくなるか、グラフが十分なサイズに達するまでプロセスを継続し、その後System 2の最終スコアに基づいて答えが選択される。

実験結果

リサーチクエスチョン

• RQ1 認知的グラフベースのフレームワークは、スケーラブルなオープンドメイン質問応答におけるマルチホップ推論を効果的にモデル化できるか？
• RQ2 System 1（高速で暗黙の検索）とSystem 2（遅速で明示的な推論）を統合することで、エンドツーエンドモデルと比較して推論の正確性と説明可能性がどのように向上するか？
• RQ3 認知的グラフ構造は、マルチホップQAにおける順序付きでエンティティレベルの説明可能性をどの程度実現できるか？
• RQ4 数百万件のドキュメントにスケーラブルに拡張可能でありながら、複雑な推論タスクで高いパフォーマンスを維持できるか？
• RQ5 明示的な推論（すなわち、System 1オンative）が欠落している場合、パフォーマンスにどのような影響が生じるか。これにより、構造化された推論の役割がどのように明らかになるか？

主な発見

• CogQAは、HotpotQA fullwikiデータセットで34.9のジョイントF₁スコアを達成し、最高の競合手法の23.6を著しく上回った。
• モデルは人間の認知プロセスを模倣した順序付きでエンティティレベルの推論経路を生成することで、強力な説明可能性を示した。
• アブレーションスタディの結果、System 2を除去（すなわち、System 1オンリーモードに）した場合、Ans指標でパフォーマンスが約50％低下した。これは、明示的推論の重要性を強く示している。
• 事例スタディにより、認知的グラフが、たとえば「上院（upper house）」と「上院（Senate）」のような意味的マッチングや、「Ten Walls」と「Marijus Adomaitis」のような名前表記のばらつきに対しても、頑健な推論を可能にすることが確認された。
• このフレームワークは、名前エンティティに依存するモデルが処理できない複雑な意味的検索質問に対しても、効果的に対処できた。
• BERTとGNNの統合により、大規模なウェブドキュメント上で効率的でスケーラブルな推論が可能となり、実世界のQAシステムにおける実用的妥当性を示した。