[論文レビュー] Dynamically Fused Graph Network for Multi-hop Reasoning

Yunxuan Xiao, Yanru Qu+5 more|arXiv (Cornell University)|May 16, 2019

Topic Modeling参考文献 21被引用数 43

ひとこと要約

DFGNは、文書間を跨ぐテキストベースのQAのマルチホップ推論のための、クエリ導向の動的エンティティグラフ推論モデルを導入し、文書-to-グラフとグラフ-to-文書の融合と推論チェーンを説明する弱教師付きマスクを用いる。HotpotQAで評価し、競争力のある結果。

ABSTRACT

Text-based question answering (TBQA) has been studied extensively in recent years. Most existing approaches focus on finding the answer to a question within a single paragraph. However, many difficult questions require multiple supporting evidence from scattered text among two or more documents. In this paper, we propose Dynamically Fused Graph Network(DFGN), a novel method to answer those questions requiring multiple scattered evidence and reasoning over them. Inspired by human's step-by-step reasoning behavior, DFGN includes a dynamic fusion layer that starts from the entities mentioned in the given query, explores along the entity graph dynamically built from the text, and gradually finds relevant supporting entities from the given documents. We evaluate DFGN on HotpotQA, a public TBQA dataset requiring multi-hop reasoning. DFGN achieves competitive results on the public board. Furthermore, our analysis shows DFGN produces interpretable reasoning chains.

研究の動機と目的

• Evidenceが複数の文書に散在するマルチホップQAを動機づける。
• クエリに導かれた動的エンティティグラフ推論フレームワークを提案する。
• 文書とエンティティグラフ間の情報融合を実現して回答の局在化を改善する。
• 学習済みのエンティティマスクと弱教師付きで解釈可能な推論チェーンを提供する。
• HotpotQA上で競争力のある性能と推論の透明性を示す。

提案手法

• Paragraph contextとクエリから動的でクエリ導向のエンティティグラフを構築する。
• クエリと文脈をBERTとBi-AttentionでエンコードしてQ0とC0を得る。
• フュージョンブロックを用いて(a) tokensをエンティティにマッピングする(Doc2Graph)、(b) ソフトスタートエンティティマスクを用いた動的グラフ上で伝播、(c) グラフからトークンへ再伝播する(Graph2Doc)。
• ソフトマスクで選択されたサブグラフ上で情報を伝播する動的グラフアテンションを適用する。
• 複数ホップにわたりクエリ表現を更新し、支援事実の予測、開始/終了位置、回答タイプを予測するための連鎖的LSTMを使用する。
• ヒューリスティックな開始マスクとBFSベースのマスクによって推論チェーンを導く弱教師付きマスク予測を適用する。

実験結果

リサーチクエスチョン

• RQ1 散在する証拠に対して、動的に構築されたクエリ中心のエンティティグラフはマルチホップ推論を改善できるか。
• RQ2 エンドツーエンドでの動的フュージョンとマスキング機構のトレーニングは解釈可能な推論チェーンを生み出すか。
• RQ3 文書-to-グラフとグラフ-to-文書の融合はノイズの多い段落やオープンドメインQAに対するロバスト性にどう影響するか。
• RQ4 DFGNは最先端モデルと比較してHotpotQAでどの程度の性能を達成するか。

主な発見

モデル	Answer_EM	Answer_F1	SupFact_EM	SupFact_F1	Joint_EM	Joint_F1
Baseline Model	45.60	59.02	20.32	64.49	10.83	40.16
GRN ∗	52.92	66.71	52.37	84.11	31.77	58.47
DFGN(Ours)	55.17	68.49	49.85	81.06	31.87	58.23
QFE ∗	53.86	68.06	57.75	84.49	34.63	59.61
DFGN(Ours) †	56.31	69.69	51.50	81.62	33.62	59.82

• DFGNはHotpotQAのディストラクター設定で競争力のある結果を達成（例：基準モデルよりEM/F1が高く、未公表モデルと競争力がある）。
• 2層のフュージョンブロックを用いると顕著な利得が得られ、単層ブロックは性能を低下させることからマルチホップ推論の重要性を強調。
• より強力なNER（BERT NER）を用いたエンティティグラフはJoint F1を約1.5%改善。
• BFSベースの監視、正確なエンティティマスキング、クエリ更新などの成分は個々に約1–2%の相対的な小さな利得を示す。
• ESPスコアと分析は、モデルが合理的な推論チェーンを予測でき、解釈可能な推論経路を露出することを示すが、NERの制限により一部のケースで支持エンティティを欠く。