[論文レビュー] Graph-free Multi-hop Reading Comprehension: A Select-to-Guide Strategy

Bohong Wu, Zhuosheng Zhang+1 more|arXiv (Cornell University)|Jul 25, 2021

Topic Modeling参考文献 41被引用数 12

ひとこと要約

本稿では、粗い段階から細かい段階への選択による段階的選択（S2G）フレームワークを提案し、HotpotQAで既存のすべてのグラフベースのモデルを上回る性能を達成する。このフレームワークは、証拠パラグラフの検索を段階的選択とランク付け問題に再定式化し、タスク固有のアテンション機構を導入することで、グラフ構造を用いないマルチホップ読解のための新手法を提示している。この手法は、マルチホップ依存関係を捉えるための段階的なリtrievalモジュールと、グラフ構造なしで推論の解釈可能性を向上させる二重アテンション機構により、最先端の性能を達成している。

ABSTRACT

Multi-hop reading comprehension (MHRC) requires not only to predict the correct answer span in the given passage, but also to provide a chain of supporting evidences for reasoning interpretability. It is natural to model such a process into graph structure by understanding multi-hop reasoning as jumping over entity nodes, which has made graph modelling dominant on this task. Recently, there have been dissenting voices about whether graph modelling is indispensable due to the inconvenience of the graph building, however existing state-of-the-art graph-free attempts suffer from huge performance gap compared to graph-based ones. This work presents a novel graph-free alternative which firstly outperform all graph models on MHRC. In detail, we exploit a select-to-guide (S2G) strategy to accurately retrieve evidence paragraphs in a coarse-to-fine manner, incorporated with two novel attention mechanisms, which surprisingly shows conforming to the nature of multi-hop reasoning. Our graph-free model achieves significant and consistent performance gain over strong baselines and the current new state-of-the-art on the MHRC benchmark, HotpotQA, among all the published works.

研究の動機と目的

• マルチホップ読解（MHRC）におけるグラフベースとグラフフリーのモデル間の性能格差を是正すること、特にHotpotQAベンチマーク上で。
• MHRC分野におけるグラフモデリングの優位性に挑戦し、より効果的で柔軟性に富み、解釈可能なグラフフリーの代替手法を提案すること。
• 単純な二値分類ではなく、マルチホップ依存関係を意識したランク付け問題として定式化することで、証拠パラグラフの検索を改善すること。
• 人間の読解行動に合わせたタスク固有のアテンション機構を用いることで、答えと証拠の抽出を向上させること。
• マルチホップ推論を読解モジュールに限定せず、リtrieval段階でも効果的にモデル化できることを示すこと。

提案手法

• S2Gモデルは、段階的で粗い段階から細かい段階への選択を経て、パラグラフ間のマルチホップ依存関係を明示的にモデル化する段階的パラグラフリtrievalモジュールを採用している。
• パラグラフリtrievalをポイントワイズ分類からランクスコアの最適化問題に再定式化し、パラグラフの相対的重要性をより効果的に捉えている。
• 事前に選択された証拠に基づいてスコアを段階的に改善するスコア精錬モジュールを導入し、順序付き推論依存関係をモデル化している。
• 答え予測には、証拠パラグラフをリtrievedした段階でモデルがそれらに注目するように強制する、証拠誘導型アテンション（EGA）を用いている。
• 証拠文の抽出には、各文内のトークン表現を集約する文意識型自己アテンション（SaSA）を適用し、文レベルの整合性を保持している。
• このフレームワーク全体は、答えスパン抽出と支援証拠抽出の両タスクを同時に最適化するエンドツーエンドの学習により、HotpotQAで訓練されている。

実験結果

リサーチクエスチョン

• RQ1 グラフフリーのアプローチが、マルチホップ読解における最先端のグラフベースのモデルを上回ることは可能か？
• RQ2 マルチホップ推論を読解モジュールに限定せず、パラグラフリtrieval段階で効果的にモデル化することは可能か？
• RQ3 ランク付けに配慮したリtrievalとスコア精錬を組み込むことで、マルチホップQAにおける証拠パラグラフ選択がどの程度向上するか？
• RQ4 タスク固有のアテンション機構（SaSAとEGA）が、答え抽出と証拠抽出のサブタスクにおける性能向上にどの程度寄与するか？
• RQ5 より単純な非グラフベースのアーキテクチャでも、優れたリtrieval設計を組み込むことで、複雑なグラフベースのモデルを上回ることは可能か？

主な発見

• S2Gモデルは、HotpotQAベンチマークで最先端の性能を達成し、これまでに発表されたすべてのグラフベースのモデルを上回っている。
• グラフフリーとグラフベースのアプローチの間の性能格差を顕著に縮小しており、特に支援証拠（Sup）タスクで顕著な向上が見られた。
• 誤差解析の結果、開発セットの誤りのうち7.4％しかマルチホップ推論の失敗に起因せず、推論依存関係の捕捉が強いことが示された。
• 誤りの大部分（74.5％）は、答えスパンの境界の問題（不完全さや余分な情報）に起因しており、誤った証拠リtrievalとは無関係であった。
• モデルの性能は、答えスパン抽出と証拠パラグラフ抽出の両タスクで安定しており、S2G設計の有効性を示している。
• S2Gフレームワークの成功は、マルチホップ読解においてグラフモデリングが必ずしも不可欠ではない可能性を示唆しており、分野の一般的な仮定に挑戦している。