[論文レビュー] Why are Sequence-to-Sequence Models So Dull? Understanding the Low-Diversity Problem of Chatbots

Shaojie Jiang, Maarten de Rijke|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 28被引用数 5

ひとこと要約

この論文は、sequence-to-sequence (Seq2Seq) チャットボットにおける応答多様性の低さの根本的で未だ十分に検討されていない要因として、モデルの過信（over-confidence）を特定する。訓練中に出力エントロピーを最大化するために、信頼度ペナルティとラベルスムージングを導入することで、VAE や MMI といった従来の手法（複雑なアーキテクチャの変更を要する）とは対照的に、単純な代替手法として有望な解決策を提示している。これにより、繰り返し発生する応答を低減し、応答の多様性を向上させることができる。

ABSTRACT

Diversity is a long-studied topic in information retrieval that usually refers to the requirement that retrieved results should be non-repetitive and cover different aspects. In a conversational setting, an additional dimension of diversity matters: an engaging response generation system should be able to output responses that are diverse and interesting. Sequence-to-sequence (Seq2Seq) models have been shown to be very effective for response generation. However, dialogue responses generated by Seq2Seq models tend to have low diversity. In this paper, we review known sources and existing approaches to this low-diversity problem. We also identify a source of low diversity that has been little studied so far, namely model over-confidence. We sketch several directions for tackling model over-confidence and, hence, the low-diversity problem, including confidence penalties and label smoothing.

研究の動機と目的

• 従来の説明を超えて、Seq2Seq ベースの対話システムにおける低多様性問題を診断すること。
• これまで軽視されてきた要因として、モデルの過信が低応答多様性の原因であることを特定すること。
• 出力エントロピーを最大化することで多様性を向上させるために、信頼度ペナルティとラベルスムージングを正則化手法として提案すること。
• 過信を、変動性の欠如、不適切な目的関数、弱い条件付き信号といった既知の要因とは別個の診断要因として位置づけること。
• エントロピー最大化手法が、VAE や MMI ベースのモデルといった複雑なアーキテクチャに比べ、より単純で効果的な代替手段である可能性を示唆すること。

提案手法

• 過信した予測を回避するため、負の対数尤度損失関数に信頼度ペナルティ項を導入する。
• 出力分布の負のエントロピーを損失関数内の正則化項として用い、その強度を制御するハイパーパrameter β を導入する。
• 理論的に信頼度ペナルティと関連するラベルスムージング正則化を適用し、モデルが特定のトークンに過剰に高い確率を割り当てることを防ぐ。
• 修正された損失関数を用いて Seq2Seq モデルを訓練し、生成時における出力分布の均一性を促進する。
• エントロピー最大化により、高信頼度予測が時間経過とともに誤差を拡大する「スノーボール効果」を是正する。
• VAE やアテンション機構といった既存手法と比較して、これらの手法が応答多様性と繰り返しに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 Seq2Seq モデルが文法的に正しいが多様性に欠ける応答を生成する理由は何か？
• RQ2 モデルの過信が、'I don’t know' や 'I’m sorry' といった繰り返しや単調な応答の生成にどのように寄与するか？
• RQ3 アーキテクチャの変更なしに、信頼度ペナルティとラベルスムージングが応答多様性の問題を効果的に軽減できるか？
• RQ4 過信は、変動性の欠如や弱い条件付き信号といった既知の要因とはどのように異なるか？
• RQ5 エントロピー最大化正則化は、対話生成における多様性と関連性の両面でどの程度向上効果を示すか？

主な発見

• モデルの過信は、Seq2Seq チャットボットにおける低多様性の顕著な要因であるが、まだ十分に検討されていない。
• 出力エントロピーを最大化する信頼度ペナルティ法は、理論的にラベルスムージングと関連しており、モデルの予測を正則化できる。
• エントロピー最大化アプローチ（例：信頼度ペナルティ）は、「スノーボール効果」を緩和し、生成後半における繰り返し出力を低減する可能性がある。
• VAE や MMI ベースのモデルのような複雑なアーキテクチャに比べ、これらの手法はより単純な代替手段を提供する。VAE や MMI ベースのモデルは追加モジュールやハイパーパrameter を必要とする。
• 過信で生じる低エントロピー予測を防ぐことで、自己反復の低減と応答の関連性向上が期待できる。
• 低多様性問題は、GAN におけるモード崩壊（mode collapse）と類似しており、生成的対抗訓練の知見が、本研究の分野に対しても応用可能である可能性を示唆している。