[論文レビュー] Flexible End-to-End Dialogue System for Knowledge Grounded Conversation

Wenya Zhu, Kaixiang Mo+4 more|arXiv (Cornell University)|Sep 13, 2017

Topic Modeling参考文献 15被引用数 88

ひとこと要約

GenDSは、動的なナレッジ詢問者とナレッジゲートを使用して、構造化KBを生成に組み込むことにより、未知のエンティティを含む任意の数の知識エンティティを含む応答を生成できる、データ駆動型のエンドツーエンド対話モデルである。

ABSTRACT

In knowledge grounded conversation, domain knowledge plays an important role in a special domain such as Music. The response of knowledge grounded conversation might contain multiple answer entities or no entity at all. Although existing generative question answering (QA) systems can be applied to knowledge grounded conversation, they either have at most one entity in a response or cannot deal with out-of-vocabulary entities. We propose a fully data-driven generative dialogue system GenDS that is capable of generating responses based on input message and related knowledge base (KB). To generate arbitrary number of answer entities even when these entities never appear in the training set, we design a dynamic knowledge enquirer which selects different answer entities at different positions in a single response, according to different local context. It does not rely on the representations of entities, enabling our model deal with out-of-vocabulary entities. We collect a human-human conversation data (ConversMusic) with knowledge annotations. The proposed method is evaluated on CoversMusic and a public question answering dataset. Our proposed GenDS system outperforms baseline methods significantly in terms of the BLEU, entity accuracy, entity recall and human evaluation. Moreover,the experiments also demonstrate that GenDS works better even on small datasets.

研究の動機と目的

• 従来のQA/対話システムでの単一エンティティや語彙外の限界を超えた、知識に基づく対話の動機づけ。
• 構造化されたKBを用いて任意数のエンティティを含む応答を生成する、完全にデータ駆動型のジェネレータを提案する。
• 局所・全体の文脈に基づいて複数のエンティティを選択し組み込む、動的な知識詢問者を導入する。
• 知識に基づく音楽対話の実世界データセット ConversMusic を開発・公開する。
• MusicConvers および MusicQA データセットでベースラインよりBLEU、エンティティ精度、エンティティ再現率の改善を示す。

提案手法

• 3部構成のGenDSフレームワーク：候補事実検索器、メッセージエンコーダ、返信デコーダ。
• 知識ゲート z_t は、各ステップで共通語を生成するかエンティティ語を生成するかを決定する。
• 動的知識詢問者は、3つのスコア（メッセージ一致 r_e、エンティティ更新 f_t、エンティティタイプ更新 u_k）を用いて候補エンティティをランク付けする；最終的なエンティティ確率 p_e(y_t=et) は r、f、u を要素ごとの積で結合して算出される。
• エンティティタイプは明示的なエンティティ埋め込みの代わりとなり、語彙外エンティティへ対処して未見の知識語の生成を可能にする。
• マルチタスク学習は、標準的な Seq2Seq 風タスクとエンティティタイプに焦点を当てた変種を同時に訓練することで、流暢な言語生成と正確なエンティティのグラウンディングを整合させる。

実験結果

リサーチクエスチョン

• RQ1 完全にデータ駆動型のモデルは、訓練中に未見だった知識エンティティを含む任意の数の応答を生成できるか？
• RQ2 動的知識詢問者は、固定または静的な生成と比較してエンティティの正確さと多様性を向上させるか？
• RQ3 構造化KBへのグラウンディングは、音楽領域の対話タスクにおけるBLEU、エンティティ精度、ヒューマンジャッジにどのような影響を与えるか？

主な発見

• GenDSは、MusicConversおよびMusicQAでベースラインよりBLEUが高く、特にエンティティ精度と再現率が大幅に向上している。
• GenDSはエンティティ関連の指標でS2SA、GenQA、GenQADを上回り、外部知識へのグラウンディングがより良いことを示している。
• 動的知識詢問者は、1つの応答内で複数のエンティティや未見のエンティティの生成を可能にする。
• GenDSはマルチタスク学習を通じて流暢さを維持しつつ、事実的グラウンディングを改善する能力を示す。