[論文レビュー] Hierarchical Graph Network for Multi-hop Question Answering

Yuwei Fang, Siqi Sun+4 more|arXiv (Cornell University)|Nov 9, 2019

Topic Modeling参考文献 44被引用数 29

ひとこと要約

本稿では、質問、段落、文、エンティティノードを統合した一貫性のあるマルチスケールグラフに統合することで、マルチホップQAのための階層的グラフネットワーク（HGN）を提案する。事前学習された文脈表現エンコーダーとグラフニューラルネットワークの伝達を用いて、支援的事実と答えを同時に予測する。HotpotQAベンチマークにおいて、最高性能を達成し、Fullwiki設定では85.1%の連携F1、Distractor設定では74.0%を記録した。

ABSTRACT

In this paper, we present Hierarchical Graph Network (HGN) for multi-hop question answering. To aggregate clues from scattered texts across multiple paragraphs, a hierarchical graph is created by constructing nodes on different levels of granularity (questions, paragraphs, sentences, entities), the representations of which are initialized with pre-trained contextual encoders. Given this hierarchical graph, the initial node representations are updated through graph propagation, and multi-hop reasoning is performed via traversing through the graph edges for each subsequent sub-task (e.g., paragraph selection, supporting facts extraction, answer prediction). By weaving heterogeneous nodes into an integral unified graph, this hierarchical differentiation of node granularity enables HGN to support different question answering sub-tasks simultaneously. Experiments on the HotpotQA benchmark demonstrate that the proposed model achieves new state of the art, outperforming existing multi-hop QA approaches.

研究の動機と目的

• マルチホップQAにおける複数ドキュメントに散在する証拠を集約する課題に対処すること。
• 異種のマルチスケールノードを統一されたグラフ構造でモデル化することで、支援的事実と答えの共同予測を改善すること。
• 既存のエンティティグラフや段落のみのアプローチが、複雑な推論やサブタスクの監視をサポートできないという限界を克服すること。

提案手法

• 質問、段落、文、エンティティの4種類のノードを含む階層的グラフを構築し、意味的・構造的リンクで接続する。
• BERT や RoBERTa のような事前学習された言語モデルを用いて、文脈符号化のためのノード表現を初期化する。
• グラフニューラルネットワーク（GNN）のメッセージパッシングを適用し、複数ホップにわたるノード表現の更新を実行することで、マルチホップ推論を可能にする。
• 更新されたノード表現を用いて、段落選択、支援的事実抽出、答え予測を同時に実行する。
• 答えのスパンを特定するスパン予測モジュールを統合し、答えがグラフ内のエンティティでない場合でも、ドキュメント内からスパンを特定できるようにする。
• 効率性を維持するため、推論を2ホップおよび4段落に制限するが、スライディングウィンドウや長文系列モデルを用いた拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 一貫性のあるマルチスケールグラフ構造は、マルチホップQAにおける支援的事実と答えの共同予測を効果的にサポートできるか？
• RQ2 文やエンティティといった異なるスケールのノードを統合することで、エンティティのみまたは段落のみのグラフと比較して、推論性能がどのように向上するか？
• RQ3 階層的グラフ伝達は、複雑な推論タスクにおける複数ドキュメント間の証拠集約をどの程度向上させるか？
• RQ4 モデルは、ブリッジ型や比較型などの異なる推論タイプ、および常識的推論やマルチホップ失敗などのエラー分類において、どのように性能を発揮するか？
• RQ5 この階層的グラフフレームワークは、HotpotQA以外のマルチホップQAデータセットに対しても一般化可能か？

主な発見

• HGNは、HotpotQA Fullwiki設定において、85.1%の連携F1を達成し、新たな最先端性能を記録した。
• Distractor設定では74.0%の連携F1を達成し、挑戦的なマルチホップ推論タスクにおいても強力なロバストネスを示した。
• 「comp-yn」質問（88.5%の連携F1）に対して最も高い性能を示し、yes/no推論において優れた性能を発揮したが、ブリッジ型や「comp-span」型では性能が低かった。
• エラー解析から、多数の失敗はマルチホップ推論の誤りとMRCにおける誤ったスパン選択に起因しており、推論パス学習の改善の余地があることが示された。
• 常識的推論や複数の妥当な答え（例：「U.S.-born」と「American-born」）を含む質問は、顕著なエラー要因であり、表面的なパターンを超えたモデルの推論能力の限界を浮き彫りにした。