[論文レビュー] Negative Training for Neural Dialogue Response Generation

Tianxing He, James Glass|arXiv (Cornell University)|Mar 6, 2019

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本稿では、事前学習された対話モデルから悪意あるまたは一般的な出力を特定し、それらをネガティブなシグナルとして用いてモデルを微調整する二段階フレームワーク「ネガティブトレーニング」を提案する。この手法は、悪意ある出力のヒットレートを顕著に低下させ、全体の応答品質を損なわずに応答の多様性を向上させる。

ABSTRACT

Although deep learning models have brought tremendous advancements to the field of open-domain dialogue response generation, recent research results have revealed that the trained models have undesirable generation behaviors, such as malicious responses and generic (boring) responses. In this work, we propose a framework named "Negative Training" to minimize such behaviors. Given a trained model, the framework will first find generated samples that exhibit the undesirable behavior, and then use them to feed negative training signals for fine-tuning the model. Our experiments show that negative training can significantly reduce the hit rate of malicious responses, or discourage frequent responses and improve response diversity.

研究の動機と目的

• 事前学習されたニューラル対話応答生成モデルにおける望ましくない行動、例えば悪意あるまたは一般的な応答を生成することを是正すること。
• 問題のある出力をネガティブ例として扱い、微調整に用いる新しいトレーニングパラダイム「ネガティブトレーニング」を提案すること。
• 有害または繰り返しの多い応答の生成確率を最小化することで、モデルの安全性と応答の多様性を向上させること。
• ネガティブトレーニングが応答品質を損なわせることなく、モデルの行動を是正できるかどうかを評価すること。
• 仮説モデルとテストリストを用いた類義語モデルを用いた拡張を用いて、ネガティブトレーニングの一般化可能性と拡張可能性を検討すること。

提案手法

• フレームワークは、事前学習済みモデルが出力する入力-出力ペアのうち、攻撃的言語や繰り返しといった望ましくない行動を示すものを、事前に定義された基準を用いて特定する。
• 特定された「悪い」応答はネガティブトレーニング例として扱われ、新しい目的関数を用いてモデルを微調整する。
• ネガティブトレーニングの目的関数は、望ましくない行動の期待リスクを最小化するもので、E[x∼Ptest]E[y∼Pθ(y|x)]c(x,y) で定義される。ここで、c(x,y)=1 であれば出力 y は望ましくない。
• 推論時にはグリーディデコードが用いられ、標準的なMLE微調整がネガティブ例を用いて実行され、将来の同様の応答生成を抑制する。
• ネガティブトレーニングリストは、一般化とカバレッジの向上を図るため、類義語モデルを用いて拡張される。
• フレームワークは、自動指標と人間評価を併用して、Ubuntu、Switchboard、OpenSubtitlesの3つのデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 ネガティブトレーニングは、神経的対話システムにおける悪意ある応答の頻度を効果的に低減できるか？
• RQ2 ネガティブトレーニングは、応答品質を維持したまま、一般的または繰り返しの多い応答の発生を低減できるか？
• RQ3 応答の多様性と安全性の観点から、ネガティブトレーニングは標準的なMLE微調整と比べてどのように差がつくか？
• RQ4 ネガティブトレーニングは未観測の入力に対しても一般化可能であり、類義語拡張されたネガティブ例と組み合わせた場合、どの程度効果的か？
• RQ5 ネガティブトレーニングは、生成応答の全体的な流暢さや一貫性を損なうか？

主な発見

• ネガティブトレーニングにより、Ubuntuデータセットにおける悪意ある応答のヒットレートは、ベースラインの14.0%から21.3%に低下し、安全性の顕著な向上が示された。
• Switchboardデータセットでは、悪意ある応答のヒットレートが18.3%から36.4%に低下し、分野を越えて一貫した改善が得られた。
• 人間評価では応答品質に顕著な劣化は認められず、Ubuntuデータセットでは64.6%の応答がベースラインよりも好まれた。
• 自動指標と人間評価の両面から、この手法が頻度の高い応答を効果的に抑制し、応答の多様性を向上させることを確認した。
• 類義語モデルを用いたネガティブトレーニングリストの拡張により、一般化能と手法の有効性が向上した。
• ネガティブトレーニングはGANベースのアプローチと相乗効果を示したが、本質的なGANのみでは実験において劣った性能を示した。