[論文レビュー] NEXUS Network: Connecting the Preceding and the Following in Dialogue Generation

Hui Su, Xiaoyu Shen+2 more|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling被引用数 6

ひとこと要約

本稿では、応答の整合性を向上させるために、応答と前後の会話文脈の間の相互情報量を最大化することで、NEXUS Networkと呼ばれる対話生成モデルを提案する。学習可能な連続的コード空間と微分可能変分推論フレームワークを導入することで、離散トークンの勾配に依存せずにエンド・ツー・エンドの学習が可能となり、2つのベンチマークデータセットでより文脈に即した、かつ相互作用的な応答を達成する。

ABSTRACT

Sequence-to-Sequence (seq2seq) models have become overwhelmingly popular in building end-to-end trainable dialogue systems. Though highly efficient in learning the backbone of human-computer communications, they suffer from the problem of strongly favoring short generic responses. In this paper, we argue that a good response should smoothly connect both the preceding dialogue history and the following conversations. We strengthen this connection through mutual information maximization. To sidestep the non-differentiability of discrete natural language tokens, we introduce an auxiliary continuous code space and map such code space to a learnable prior distribution for generation purpose. Experiments on two dialogue datasets validate the effectiveness of our model, where the generated responses are closely related to the dialogue context and lead to more interactive conversations.

研究の動機と目的

• sequence-to-sequence対話モデルにおける一般的で話題外れの応答の問題に対処すること。
• 応答が過去の履歴と未来の文脈の両方と意味的に結びつくようにすることで、対話の整合性を向上させること。
• 離散的言語トークンの非微分可能性にもかかわらず、微分可能な学習を可能にすること。
• 推論時に未来の文脈が利用できない状況に対処するため、連続的コード空間上に事前分布を学習すること。
• 後処理の再順序付けやヒューリスティックなデコードに依存せずに、より優れた応答の多様性と関連性を達成すること。

提案手法

• 対話履歴、現在の発話、および未来の文脈の共有表現として機能する連続的コード空間を導入する。
• 変分推論を用いて現在の発話と履歴・未来の両方との間の相互情報量を最大化することで、微分可能な学習を可能にする。
• 推論時に真の未来の文脈が入手できない状況でも効率的なサンプリングが可能になるよう、コード空間上に事前分布を学習する。
• 再パrameterizationを介して離散トークンを通り抜けるバックプロパゲーションを可能にするために、変分後退分布を用いる。
• 重み付き係数を用いて過去および未来の文脈との相互情報量をバランスさせる共同最適化目的関数を採用する。
• 補助的コード空間を離散出力への微分可能ブリッジとして用い、最大尤度推定に基づいてエンド・ツー・エンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 応答と前後の会話文脈との間の相互情報量の最大化は、応答品質の向上に寄与するか？
• RQ2 離散的自然言語トークンを扱う際、相互情報量をどのように微分可能に最適化できるか？
• RQ3 連続的コード空間上に学習可能な事前分布を設けることで、未来の文脈が入手できない推論時でも効果的な応答生成が可能になるか？
• RQ4 過去と未来の両方の文脈をモデル化することで、自己回帰的ベースラインと比較してより整合的かつ多様な応答が得られるか？
• RQ5 提案手法により、'知らない'や'よくわからない'といった一般的な応答への傾向が軽減されるか？

主な発見

• NEXUS Networkは、過去および未来の会話文脈との強い整合性を強制することで、'知らない'や'よくわからない'といった一般的な応答の頻度を顕著に低減する。
• UbuntuおよびDailyDialogデータセットにおいて、より高いBLEU、BLEU-4、およびdistinct-4スコアを達成しており、文のなめらかさと多様性の向上を示している。
• 人的評価では、NEXUSが生成する応答は文脈的関連性が高く、より整合的かつ相互作用的であると評価されている。
• 自動評価および人的評価の両方において、seq2seq、VAEベースのモデル、および再順序付けアプローチといった強力なベースラインを上回る性能を示している。
• アブレーションスタディにより、過去と未来の両方の文脈を同時にモデル化することが、片方のみをモデル化する場合よりも優れた性能をもたらすことが確認された。
• コード空間上に学習可能な事前分布を設けることで、真の未来発話が入手できない状況下でも効果的なサンプリングが可能であることが示された。