[論文レビュー] Neural Generative Question Answering

Jun Yin, Xin Jiang+4 more|arXiv (Cornell University)|Dec 4, 2015

Topic Modeling参考文献 20被引用数 33

ひとこと要約

この論文では、外部知識ベースの検索とシーケンス・ツー・シーケンス学習を組み合わせることで、自然で事実的に正確な回答を生成するエンド・ツー・エンドのニューラル生成的質問応答モデルgenQAを提案する。動的に共通語と知識ベース固有の語を切り替えることで、モデルは流暢で事実に即した回答を生成し、実世界の事実型質問データセットにおいて、埋め込みベースのQAモデルおよびニューラル対話モデルを上回る性能を発揮する。

ABSTRACT

This paper presents an end-to-end neural network model, named Neural Generative Question Answering (GENQA), that can generate answers to simple factoid questions, based on the facts in a knowledge-base. More specifically, the model is built on the encoder-decoder framework for sequence-to-sequence learning, while equipped with the ability to enquire the knowledge-base, and is trained on a corpus of question-answer pairs, with their associated triples in the knowledge-base. Empirical study shows the proposed model can effectively deal with the variations of questions and answers, and generate right and natural answers by referring to the facts in the knowledge-base. The experiment on question answering demonstrates that the proposed model can outperform an embedding-based QA model as well as a neural dialogue model trained on the same data.

研究の動機と目的

• 外部の知識ベースの事実を用いて、事実型質問に対して自然言語の回答を生成するエンド・ツー・エンドのニューラルモデルを開発すること。
• 純粋にニューラルなモデルが離散的で孤立した事実を格納・検索する能力に欠けるという限界を補うために、外部の知識ベースを統合すること。
• モデルがいつ共通語を生成するか、いつ知識ベースからの語を検索するかを動的に決定できるようにすること。
• 質問-回答ペアとそれに関連する知識ベースの三項組（三元組）を同時に学習させることで、言語生成と事実的コンテンツの整合性を保証すること。
• 生成的質問応答タスクにおいて、埋め込みベースのQAやニューラル対話モデルといった既存手法を凌駆すること。

提案手法

• モデルは、入力質問をコンテキスト・ベクトルに変換するエンコーダを備えた、シーケンス・ツー・シーケンス学習のためのエンコーダ・デコーダフレームワークを用いる。
• デコーダは、共通語を生成する確率と知識ベースからの語を検索する確率を制御するゲーティング機構を備えている。
• 知識ベースの検索は、質問に関連する三元組（主語、述語、目的語）を特定するニューラルアテンション機構を介して実施される。
• 生成と検索の両コンponentのエンド・ツー・エンド最適化を可能にするために、質問-回答ペアとそれに対応する知識ベースの三元組を同時に学習させる。
• 推論時には、長さ正規化を施したビームサーチを用いて、簡潔で尤もらしい回答を生成する。
• 知識ベース語（例：'ジョン・マリコヴィッチ'）と自然言語コンテキスト（例：'彼は...'）の組み合わせをサポートすることで、流暢で事実に基づいた回答が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ニューラル生成的モデルは、外部知識ベースの検索とシーケンス・ツー・シーケンス学習を効果的に組み合わせることで、事実型質問に対して正確で自然な回答を生成できるか？
• RQ2 モデルは、質問と回答の言語的変異を処理しながらも、知識ベースとの事実的一致性を維持できるか？
• RQ3 明示的な知識ベースへのアクセスを統合することで、埋め込みベースや対話ベースのニューラルモデルに比べて性能が向上するか？
• RQ4 モデルが共通語の生成と知識ベース語の検索を切り替える能力が、回答の流暢さと正確性をどの程度向上させるか？
• RQ5 誤ったまたは部分的に正しい三元組を検索した場合、モデルの失敗モードは何か、そしてそれらが回答品質にどのように影響するか？

主な発見

• genQAモデルは、同じデータセットで学習された埋め込みベースのQAモデルおよびニューラル対話モデルを、質問応答タスクにおいて上回る性能を示した。
• 複数のテスト例で示されるように、正しく検索された知識ベース語と適切な共通語を組み合わせることで、モデルは流暢で自然な回答を効果的に生成した。
• 正しく検索されたKB三元組であっても、約8%の生成回答で誤ったまたは不適切な周囲りの共通語が含まれていた。
• 一部のケースでは、誤った三元組（例：映画の配給会社をリリース日に関連付ける）が検索され、事実に反する回答が生成された。
• モデルの性能は、知識ベース三元組の品質および質問と関連する事実との整合性に敏感であり、正確なKB構築の重要性を浮き彫りにした。
• 長さ正規化を施したビームサーチは、短い回答を好む傾向があり、これはデータセットにおける事実型質問応答の一般的な簡潔さと整合的である。