[論文レビュー] Variational Reasoning for Question Answering with Knowledge Graph

Yuyu Zhang, Hanjun Dai+3 more|arXiv (Cornell University)|Sep 12, 2017

Topic Modeling被引用数 181

ひとこと要約

論文は、エンドツーエンドの変分フレームワークVRNを提案し、トピックエンティティ認識と知識グラフ上のマルチホップ推論を共同学習し、ノイズのあるテキストと音声入力での堅牢なQAを実現します。

ABSTRACT

Knowledge graph (KG) is known to be helpful for the task of question answering (QA), since it provides well-structured relational information between entities, and allows one to further infer indirect facts. However, it is challenging to build QA systems which can learn to reason over knowledge graphs based on question-answer pairs alone. First, when people ask questions, their expressions are noisy (for example, typos in texts, or variations in pronunciations), which is non-trivial for the QA system to match those mentioned entities to the knowledge graph. Second, many questions require multi-hop logic reasoning over the knowledge graph to retrieve the answers. To address these challenges, we propose a novel and unified deep learning architecture, and an end-to-end variational learning algorithm which can handle noise in questions, and learn multi-hop reasoning simultaneously. Our method achieves state-of-the-art performance on a recent benchmark dataset in the literature. We also derive a series of new benchmark datasets, including questions for multi-hop reasoning, questions paraphrased by neural translation model, and questions in human voice. Our method yields very promising results on all these challenging datasets.

研究の動機と目的

• ノイズのある質問入力と不確かなトピックエンティティの局在化に対処する。
• エンドツーエンドで訓練可能なモデルにおいて、大規模な知識グラフ上でのマルチホップの論理推論を可能にする。
• 強いアノテーションなしで、質問応答ペアからトピックエンティティ認識と推論埋め込みを共同学習する。
• KG上のQAのためにテキストと音声入力の両方を扱える、スケーラブルなアーキテクチャを提供する。

提案手法

• VRNを導入する。トピックエンティティ認識のためのP(y|q)と、知識グラフベースの推論によって回答を特定するP(a|y,q)という2モジュールの確率的フレームワーク。
• トピックエンティティを、P_theta1(y|q) = softmax(W_y^T f_ent(q))と同様に、ニューラル質問エンコーダf_ent(q)（テキストまたは音声）を用いたKGエンティティ上のソフトマックスで表現する。
• 推論を、理由付けサブグラフの埋め込みとしてKG上でモデル化する； P_theta2(a|y,q) の適合度は、質問タイプ埋め込みf_qt(q)のsoftmaxと、グラフ埋め込みg(G_{y→a})に対して計算される。
• トピックエンティティからTホップ内の推論グラフG_yを定義し、G_{y→a}をyからaへのすべての経路を含む最小サブグラフとして定義する；G_{y→a}を前向きグラフアーキテクチャで再帰的に埋め込む（式6）。
• Qψ(y|q,a)を用いた変分推論として潜在的なyを扱い、変分下限を最大化するエンドツーエンド学習を行う。REINFORCEと分散削減を用いた目的関数（式7–式10）。
• 推論はP_theta1(y|q)の上位kつのyに対してビーム探索を行い、最大のP_theta2(a|y,q)を得る（近似式11）。

実験結果

リサーチクエスチョン

• RQ1 強いアノテーションなしで、質問応答ペアからエンドツーエンドのモデルが知識グラフ上のトピックエンティティ認識とマルチホップ推論を共同学習できるか？
• RQ2 前向きグラフのKG埋め込みアプローチは、大規模な知識グラフ上でのスケーラブルで効果的なマルチホップ推論を実現できるか？
• RQ3 ノイズのあるテキストや音声入力の下で、REINFORCEを用いたエンドツーエンドの変分訓練はエンティティ認識と推論をどの程度改善できるか？
• RQ4 提案手法VRNは、シングルホップ対マルチホップの質問、およびテキスト対音声QAタスクでどのように性能を示すか？
• RQ5 実務的なノイズや言い換え条件の下で、MetaQAベンチマークはKGベースQAの評価に有効か？

主な発見

Vanilla 1-hop	Vanilla 2-hop	Vanilla 3-hop	Vanilla-EU 1-hop	Vanilla-EU 2-hop	Vanilla-EU 3-hop
VRN	97.5	89.9	62.5	82.0	75.6	38.3
Bordes et al. QA	95.7	81.8	28.4	39.5	38.3	26.9
KV-MemNN	95.8	25.1	10.1	35.8	10.3	10.5
Supervised embedding	54.4	29.1	28.9	18.1	23.2	25.3
(table row)
(table continues)

• VRNは Vanilla（1ホップ）、2ホップ、3ホップのデータセットで最先端の性能を達成する。
• Vanilla-EU設定（エンティティがラベルなし）の場合、方法間で性能は低下するがVRNが最も強く、共同学習の利点を示す。
• VRNは2ホップおよび3ホップの質問でベースラインを大幅に上回り、強力なマルチホップ推論能力を示す。
• NTM-EUおよびAudio-EUデータセットでVRNはベースラインを上回り、音声QAは難易度が高いにもかかわらず有望である。
• REINFORCEと分散削減を伴う変分訓練は、トピックエンティティのラベル付きが限られる場合に特に、エンティティ認識と全体的なQA性能を向上させる。
• 共有計算を持つ前向きグラフ埋め込みアーキテクチャは、多くの推論パス（G_{y→a}）の効率的なスコアリングを可能にする。