[論文レビュー] A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts

Wanjun Zhong, Duyu Tang+4 more|arXiv (Cornell University)|Apr 25, 2020

Topic Modeling参考文献 23被引用数 6

ひとこと要約

この論文では、動的で手順的なテキストにおける質問応答を向上させるために、事実的知識、時系列的知識、論理的知識を統合する、異種グラフニューラルネットワークであるProGraphを提案する。BERTで埋め込み処理されたノードから構築された知識強化グラフを用い、エンドツーエンドで訓練されたGNNにより、PROPARAで61.0%のF1スコアを達成し、ProGlobalなどの強力なベースラインを顕著な差で上回る。また、グラフ構造のおかげで解釈可能な推論を提供する。

ABSTRACT

We study question answering over a dynamic textual environment. Although neural network models achieve impressive accuracy via learning from input-output examples, they rarely leverage various types of knowledge and are generally not interpretable. In this work, we propose a graph-based approach, where a heterogeneous graph is automatically built with factual knowledge of the context, temporal knowledge of the past states, and logical knowledge that combines human-curated knowledge bases and rule bases. We develop a graph neural network over the constructed graph, and train the model in an end-to-end manner. Experimental results on a benchmark dataset show that the injection of various types of knowledge improves a strong neural network baseline. An additional benefit of our approach is that the graph itself naturally serves as a rational behind the decision making.

研究の動機と目的

• 訓練データを超える構造的知識を統合することで、動的テクスト環境におけるニューラル質問応答を改善すること。
• 完全にニューラルなモデルにおける解釈不能性と知識統合の欠如を解決すること。
• シンボリック推論とニューラル表現学習を統合することで、状態追跡における一般化性と一貫性を向上させること。
• 統一されたグラフベースのフレームワークを用いて、手順的テキストにおける因果的および時系列的依存関係をモデル化すること。
• グラフ構造を通じて合理的で追跡可能な意思決定プロセスを提供し、モデルの透明性を高めること。

提案手法

• 情報抽出から得られる事実的知識、過去の状態の意味的ベクトル変換から得られる時系列的知識、VerbNetに基づくルールベース推論から得られる論理的知識を統合した異種グラフを構築する。
• エンティティ、アクション、関係のグラフ内のノード表現をBERTで初期化する。
• メッセージパッシングと集約を用いたグラフニューラルネットワークを適用し、グラフ全体でノード表現を更新する。
• PROPARAデータセットからの教師信号を用いて、モデル全体をエンドツーエンドで訓練する。
• シンボリックルールと外部知識ベースを統合し、論理的推論をガイドし、世界知識との一貫性を保証する。
• グラフ構造を活用して、グローバルな推論と時間ステップにわたる細粒度の状態変化予測の両方を支援する。

実験結果

リサーチクエスチョン

• RQ1 事実的知識、時系列的知識、論理的知識をニューラルモデルに統合することで、動的で手順的なテキストにおける推論性能が向上するか？
• RQ2 シンボリック知識の統合が、ニューラル質問応答システムの解釈可能性と一貫性をどのように向上させるか？
• RQ3 異種グラフ構造が、時間経過に伴うエンティティの状態と遷移をよりよくモデル化するのにどの程度寄与するか？
• RQ4 モデルは、手順的ナラティブにおける曖昧または暗黙の因果関係をどのように処理するか？
• RQ5 主な失敗モードは何か。また、より良い知識の根拠付けによってそれらはどのように緩和可能か？

主な発見

• ProGraphはPROPARAベンチマークで61.0%のF1スコアを達成し、強力なベースラインであるProGlobalを顕著に上回る。
• 文単位の質問の3つのカテゴリ（Cat-1, Cat-2, Cat-3）において、それぞれ4.9%、4.62%、3.55%の性能向上を達成する。
• アブレーションスタディにより、事実的知識、時系列的知識、論理的知識の3つの知識タイプの統合が、性能向上に顕著な寄与をしていることが確認された。
• グラフ構造は予測の合理的な説明として自然に機能し、モデルの解釈可能性を向上させる。
• 主な誤りタイプには、初期状態の誤分類、キャリア依存エンティティ状態の追跡不能、細粒度の意味的文脈の欠如による動詞ベースのルール推論の誤りが含まれる。
• 誤り分析から、共参照解決と知識ベースにおける動詞の意味の改善により、場所と状態予測の誤りをさらに低減できることが示された。