[論文レビュー] A Dual Encoder Sequence to Sequence Model for Open-Domain Dialogue Modeling

T. Sharath, Shubhangi Tandon+1 more|arXiv (Cornell University)|Oct 28, 2017

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本稿では、以前の発話における発話行動の潜在表現を応答生成プロセスに組み込むことで、オープンドメイン対話における一貫性を向上させるデュアルエンコーダー序列モデルを提案する。会話的文脈をディスcourse-awareな潜在変数にエンコードすることで、標準的な序列モデルと比較して、より文脈的に関連性があり一貫性のある応答を生成する。

ABSTRACT

Ever since the successful application of sequence to sequence learning for neural machine translation systems, interest has surged in its applicability towards language generation in other problem domains. Recent work has investigated the use of these neural architectures towards modeling open-domain conversational dialogue, where it has been found that although these models are capable of learning a good distributional language model, dialogue coherence is still of concern. Unlike translation, conversation is much more a one-to-many mapping from utterance to a response, and it is even more pressing that the model be aware of the preceding flow of conversation. In this paper we propose to tackle this problem by introducing previous conversational context in terms of latent representations of dialogue acts over time. We inject the latent context representations into a sequence to sequence neural network in the form of dialog acts using a second encoder to enhance the quality and the coherence of the conversations generated. The main task of this research work is to show that adding latent variables that capture discourse relations does indeed result in more coherent responses when compared to conventional sequence to sequence models.

研究の動機と目的

• 会話の1対多の性質にもかかわらず、オープンドメイン対話システムにおける一貫性を維持するという課題に対処すること。
• 直前の発話にとどまらず、会話的文脈の潜在表現を組み込むことで応答品質を向上させること。
• 発話行動を通じてディスコースレベルの関係をモデル化することで、序列モデルアーキテクチャにおける応答生成がどのように向上するかを調査すること。
• ディスコースに配慮した潜在変数が、より一貫性があり文脈的に適切な応答をもたらすことを実証すること。

提案手法

• 2つのエンコーダーを用いたデュアルエンコーダー構造を採用し、一方のエンコーダーは入力発話を処理し、もう一方は発話行動の履歴を符号化する。
• 以前のターンからの発話行動を埋め込み、ディスコースレベルの文脈を捉える潜在表現に変換する。
• 潜在的な文脈表現を、文脈に配慮したアテンションメカニズムを介してデコーダーの隠れ状態に統合する。
• アテンションメカニズムを備えた序列学習を用い、2番目のエンコーダーから得られるディスコースに配慮した潜在変数を強化する。
• 標準的な自己回帰的学習目的関数を用いて、主な序列モデルと統合的に端末から端末まで訓練される潜在表現を学習する。
• モデルはオープンドメイン対話データセット上で学習され、応答生成と文脈的ディスコースモデリングの両方を学習する。

実験結果

リサーチクエスチョン

• RQ1 潜在的発話行動表現の組み込みが、オープンドメイン対話システムにおける応答の一貫性を向上させることができるか？
• RQ2 発話行動を通じて会話的文脈をディスコースに配慮した潜在変数でモデル化することで、標準的なseq2seqモデルと比較して応答品質にどのような影響を与えるか？
• RQ3 履歴の発話行動の組み込みが、文脈的に関連性のある応答を生成する能力をどの程度向上させるか？
• RQ4 デュアルエンコーダー構造は、会話におけるディスコースレベルの依存関係を効果的に捉え、活用できているか？

主な発見

• 人的評価による測定において、提案モデルは標準的な序列モデルと比較して、より一貫性のある応答を生成することが示された。
• 潜在的発話行動表現の組み込みにより、応答の関連性および文脈的一致性が顕著に向上した。
• デュアルエンコーダー構造は、長距離のディスコース依存関係を効果的に捉えており、ベースラインと比較して応答品質が向上した。
• 特にマルチターン対話の文脈では、会話の流れを維持する能力が顕著に優れていた。