[論文レビュー] Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text

Haitian Sun, Bhuwan Dhingra+4 more|arXiv (Cornell University)|Sep 4, 2018

Topic Modeling参考文献 45被引用数 11

ひとこと要約

本稿では、知識ベース（KB）とテキストの早期融合を実現するグラフニューラルネットワーク、GRAFT-Netを提案する。GRAFT-Netは、KBの事実とエンティティリンク済みテキストを統合した非均質的グラフを構築し、非均質的メッセージパッシングと有向埋め込み伝搬を用いて、オープンドメイン質問応答を向上させる。GRAFT-Netは、KBとテキストを統合した設定において最先端の性能を達成し、既存手法を最大で4.8% F1向上させ、純粋なKBまたはテキストのベンチマークでも最先端性能を達成している。

ABSTRACT

Open Domain Question Answering (QA) is evolving from complex pipelined systems to end-to-end deep neural networks. Specialized neural models have been developed for extracting answers from either text alone or Knowledge Bases (KBs) alone. In this paper we look at a more practical setting, namely QA over the combination of a KB and entity-linked text, which is appropriate when an incomplete KB is available with a large text corpus. Building on recent advances in graph representation learning we propose a novel model, GRAFT-Net, for extracting answers from a question-specific subgraph containing text and KB entities and relations. We construct a suite of benchmark tasks for this problem, varying the difficulty of questions, the amount of training data, and KB completeness. We show that GRAFT-Net is competitive with the state-of-the-art when tested using either KBs or text alone, and vastly outperforms existing methods in the combined setting. Source code is available at https://github.com/OceanskySun/GraftNet .

研究の動機と目的

• 知識ベースやテキストコーパスのいずれかだけでは不完全さや曖昧さのため、オープンドメイン質問応答が十分に達成できない状況に対処すること。
• テキストの高カバレッジとKBの構造的推論を組み合わせることで、後期融合ではなく早期融合を用いて回答抽出を改善すること。
• 純粋なKB用および純粋なテキスト用QAベンチマークでも競争力のある性能を発揮するとともに、統合設定で優れた性能を発揮する統一モデルの開発。
• ハイブリッドQAシステムの評価を目的とした、KBの完全性、学習データサイズ、質問の複雑さを変化させた新しいベンチマークスイートの構築。

提案手法

• GRAFT-Netは、ノードがKBのエンティティおよびテキストスパンを表し、エッジが関係性または共起関係を表す非均質的グラフを構築する。
• 非均質的更新ルールを用いる：テキストノードにはLSTMベースの更新、KBエンティティには標準的なGCNスタイルの更新を適用し、情報タイプの違いを保持する。
• パーソナライズドページランクにインspiredした有向伝搬メカニズムを導入し、質問に関連するシードノードから埋め込みの流れを制限することで、集中した推論を実現する。
• メッセージパッシング中に、関係性の重要度を動的に重みづけするため、関係性に対するクエリに依存するアテンションを導入する。
• 最終ノード表現に基づく予測を用いて、答えスパンのクロスエントロピー損失を用いたエンドツーエンド学習を実施する。
• KBとテキストの両方を統合的に学習可能であり、1つの統一フレームワーク内で異種の情報源からの証拠集約を可能にする。

実験結果

リサーチクエスチョン

• RQ1 後期融合や単一ソースモデルと比較して、知識ベースとテキストの早期融合がオープンドメイン質問応答を改善できるか？
• RQ2 テキストノードとKBノードを別々に扱う非均質的メッセージパッシングは、ハイブリッドQAにおける性能にどのように影響するか？
• RQ3 質問に関連するシードノードから有向に埋め込みを伝搬させることで、複雑な推論タスクにおける回答精度はどの程度向上するか？
• RQ4 統合KB-テキスト設定において、KBの完全性や学習データサイズの変化に伴い、モデルの性能はどのように変化するか？
• RQ5 1つの統一モデルが、純粋なKB用および純粋なテキスト用QAベンチマークの両方で競争力のある性能を発揮できるか？

主な発見

• GRAFT-Netは、WebQuestionsSPでKB完全度100%、テキスト100%の条件下で67.8 F1を達成し、統合設定においてベースラインを最大4.8% F1上回った。
• 純粋なKBのみ（例：WikiMoviesで96.8 Hits@1）や純粋なテキストのみ（例：DrQAベースラインで86.6 F1）のベンチマークでも、最先端の性能を達成または上回った。
• 非均質的更新は、非非均質的ベースラインと比較して4.8% F1の向上をもたらし、同じ文書内でのエンティティの区別が重要であることを示している。
• 有向伝搬と関係性に対するクエリベースアテンションは、両者とも性能向上に顕著な寄与を示しており、KB完全度のあらゆる水準で改善が観察された。
• 中程度の割合（例：30%）での事実ドロップアウトが一般化性能を向上させることを示しており、正則化がKBノイズへの過学習を防ぐのに役立つことが示唆された。
• 制約ベースの推論（例：時系列的・順序的制約）を要する質問では性能が低かったが、このような制約を無視すると3.8% F1向上した。