[論文レビュー] Why Do Neural Dialog Systems Generate Short and Meaningless Replies? A Comparison between Dialog and Translation

Bolin Wei, Shuai Lu+5 more|arXiv (Cornell University)|Dec 6, 2017

Topic Modeling参考文献 12被引用数 10

ひとこと要約

この論文は、データシャッフルを用いて機械翻訳のデータに会話に類似した曖昧性を模擬することで、ニューラル会話システムが短く一般的な返答を生成する理由を調査している。入力ごとに複数の妥当な応答を人工的に作ることで、著者たちは会話システムで観察されるのと同じ劣化した挙動を再現し、モデル構造ではなく応答の曖昧性が、系列対系列モデルにおける情報のない出力の主な原因であることを示している。

ABSTRACT

This paper addresses the question: Why do neural dialog systems generate short and meaningless replies? We conjecture that, in a dialog system, an utterance may have multiple equally plausible replies, causing the deficiency of neural networks in the dialog application. We propose a systematic way to mimic the dialog scenario in a machine translation system, and manage to reproduce the phenomenon of generating short and less meaningful sentences in the translation setting, showing evidence of our conjecture.

研究の動機と目的

• ニューラルオープンドメイン会話システムにおける短く意味のない返答の根本的原因を特定すること。
• 会話データにおける入力と出力の厳密な対応の欠如が、モデルの劣化に寄与するかどうかを特定すること。
• 人工的な曖昧性を導入することで、訓練データの対応が明確な機械翻訳タスクにおいても、一般的な返答生成の現象を再現できるかどうかを検証すること。
• 対応のない訓練条件下で、応答の多様性と情報量が低下するかどうかを評価すること。

提案手法

• 著者たちは、訓練データの元の文と翻訳文のペアの順序をシャッフルすることで、機械翻訳に会話に類似した曖昧性を模擬している。
• 標準的な系列対系列モデルを、元のデータセットとシャッフル済みデータセットの両方で学習させ、モデルの挙動を比較している。
• BLEUスコア、応答長、負の対数尤度、エントロピーを用いて、情報量と多様性を測定する指標として評価している。
• デコード中におけるRNN隠れ状態と時刻の相関関係を分析することで、応答長の予測能力を評価している。
• シャッフルの度合い（25%、50%、75%、100%）を体系的に変化させ、モデル挙動への影響を観察している。
• 通常の翻訳、シャッフル済み翻訳、実際の会話設定の3つの状況を比較することで、データの対応の欠如が与える影響を隔離している。

実験結果

リサーチクエスチョン

• RQ1 なぜニューラル会話システムは翻訳システムと比べて短く意味のない返答を生成する傾向にあるのか？
• RQ2 会話システムにおける一般的な返答生成の現象が、機械翻訳の設定でも再現可能か？
• RQ3 シャッフルされた訓練ペアによって人工的な曖昧性を導入することで、翻訳モデルの応答品質と情報量が低下するか？
• RQ4 会話データの対応のない性質が、系列生成における応答長の予測可能性にどのように影響するか？
• RQ5 訓練データにおける曖昧性の増加が、生成応答のエントロピーと情報量をどの程度低下させるか？

主な発見

• 通常の設定では、会話システムの返答は参照文より20%短く、負の対数尤度とエントロピーはそれぞれ0.71と0.99低下している。
• 訓練データを会話に類似した曺曁性にシャッフルすると、翻訳モデルはシャッフル度が高くなるにつれて応答長、BLEUスコア、情報量指標が単調に低下する。
• 100%のシャッフルでは、BLEU-1は12.5、BLEU-4は0.00に低下し、負の対数尤度は0.024まで急低下し、極めて一般的で情報量の少ない出力であることが示された。
• 会話システムおよびシャッフル済み翻訳設定では、RNN隠れ状態と時刻の相関が著しく低下しており、長さ予測能力が著しく劣化していることが示された。
• 100%のシャッフルでもエンコーダー側の相関は99%まで上昇しており、エンコーダーとデコーダーのネットワークにおける隠れ状態ダイナミクスへの影響の違いが示唆された。
• 結果は、複数の妥当な応答が存在するという応答の曖昧性が、ニューラル会話システムにおける劣化出力の主な要因であるという強力な実証的証拠を提供している。