[論文レビュー] Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents

Ming Tu, Kevin Huang+4 more|arXiv (Cornell University)|Nov 1, 2019

Topic Modeling参考文献 25被引用数 18

ひとこと要約

本稿では、複数文書上の解釈可能なマルチホップ読解のための選択・回答・説明（SAE）フレームワークを提案する。まず、ペairワイズの学習に基づく順序付け損失を用いた文書分類器により、回答に関係のない文書をフィルタリングし、関連のある文書のみを保持する。次に、クロスタスク注意機構とグラフニューラルネットワーク（GNN）を備えたマルチタスクモデルにより、答えと支援文を同時に予測する。このアプローチにより、HotpotQAで39.89%の共同EMと66.45%のF1を達成し、最先端の性能を示した。

ABSTRACT

Interpretable multi-hop reading comprehension (RC) over multiple documents is a challenging problem because it demands reasoning over multiple information sources and explaining the answer prediction by providing supporting evidences. In this paper, we propose an effective and interpretable Select, Answer and Explain (SAE) system to solve the multi-document RC problem. Our system first filters out answer-unrelated documents and thus reduce the amount of distraction information. This is achieved by a document classifier trained with a novel pairwise learning-to-rank loss. The selected answer-related documents are then input to a model to jointly predict the answer and supporting sentences. The model is optimized with a multi-task learning objective on both token level for answer prediction and sentence level for supporting sentences prediction, together with an attention-based interaction between these two tasks. Evaluated on HotpotQA, a challenging multi-hop RC data set, the proposed SAE system achieves top competitive performance in distractor setting compared to other existing systems on the leaderboard.

研究の動機と目的

• 関連のない文書による干渉を低減することで、複数文書上での解釈可能なマルチホップ読解の課題に対処すること。
• 答えのスパンと支援文の予測を同時に学習することで、答えの予測と支援文の抽出を向上させること。
• 複数の文書から明示的に支援文を特定し、説明することで、モデルの解釈性を向上させること。
• 既存手法の限界、特に説明可能性の低さと文書フィルタリングの欠如、特に干渉の強い環境下での課題を克服すること。
• マルチホップQAベンチマーク（例：HotpotQA）において、既存のモデルを上回るスケーラブルで正確なシステムを開発すること。

提案手法

• 答えに関係のない文書を除外し、関連のあるもののみを保持するため、新しいペアワイズの学習に基づく順序付け損失で訓練された文書分類器。
• トークンレベルでの答えスパン予測と文レベルでの支援文予測の両方を同時に最適化するマルチタスク学習フレームワーク。
• 答え予測ヘッドと支援文予測ヘッドの間の注意に基づく相互作用メカニズムを導入し、タスク間の推論を向上させること。
• 3種類のエッジを持つグラフニューラルネットワーク（GNN）：文書内文の接続、文書間文の接続、エンティティに依存する接続。
• 文の表現を集約するための注意に基づくプーリングを用いた文の要約。
• 文書フィルタリングおよび答え／説明予測モジュールの両方の入力表現として、BERTベースの文脈的埋め込みを用いる。

実験結果

リサーチクエスチョン

• RQ1 文書フィルタリング機構は、マルチホップで複数文書にまたがる読解において、干渉を著しく低減し、性能を向上させることができるか？
• RQ2 答えと支援文の同時予測は、モデルの解釈性と性能の両面で効果的か？
• RQ3 マルチホップの推論において、GNNの異なる種類のメッセージパッシングが果たす貢献は何か？
• RQ4 答え予測ヘッドと証拠予測ヘッドの間で注意に基づく相互作用を組み込むことで、モデル性能が向上するか？
• RQ5 モデルは、ブリッジ型推論と比較型推論といった、異なる推論タイプにおいて、どのように性能を示すか？

主な発見

• 完全なSAEモデルは、HotpotQAの開発セットで39.89%の共同EMと66.45%のF1を達成し、最先端のシステムと競合する性能を示した。
• GNNモジュールを削除すると、共同EMが1.4%低下し、F1が0.9%低下した。これは、推論にグラフベースのメッセージパッシングが重要であることを裏付けた。
• 文書内文の接続エッジが最も大きな貢献をし、文書間エッジはわずかだが有意義な改善をもたらした。
• 注意に基づく文の要約を単純な平均化に置き換えると、共同EMがほぼ2%低下した。これは、注意機構が支援文の要約に有効であることを示した。
• 「比較」推論タイプでは51.18%の共同EMを達成した一方、「ブリッジ」タイプでは37.07%にとどまり、ブリッジエンティティを特定することがより困難であることが示唆された。
• 注意ヒートマップは、国籍を特定する際、'american'などのキーワードを正しく注目していることを視覚的に確認し、モデルの解釈性を裏付けた。