[論文レビュー] Don't Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training

Margaret Li, Stephen Roller+5 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 27被引用数 20

ひとこと要約

この論文では、生成的対話モデルにおける論理的整合性を向上させるために、トレーニング中に一貫性のないまたは矛盾する出力をペナルティ化するためのアンリクアリティトレーニングを提案している。自動統計とNLIベースの監視を用いて、繰り返し、文脈のコピーや頻出語の過剰使用、意味的矛盾を検出し抑制するアンリクアリティ損失を適用することで、一貫性を著しく向上させつつ、パープレキシティを低く保ち、標準的なMLEと比較して中立的応答の選択精度を78％まで向上させた（MLEでは18％）。

ABSTRACT

Generative dialogue models currently suffer from a number of problems which standard maximum likelihood training does not address. They tend to produce generations that (i) rely too much on copying from the context, (ii) contain repetitions within utterances, (iii) overuse frequent words, and (iv) at a deeper level, contain logical flaws. In this work we show how all of these problems can be addressed by extending the recently introduced unlikelihood loss (Welleck et al., 2019) to these cases. We show that appropriate loss functions which regularize generated outputs to match human distributions are effective for the first three issues. For the last important general issue, we show applying unlikelihood to collected data of what a model should not do is effective for improving logical consistency, potentially paving the way to generative models with greater reasoning ability. We demonstrate the efficacy of our approach across several dialogue tasks.

研究の動機と目的

• 最大尤度トレーニングが達成できる範囲を超えて、ニューラル対話生成における論理的不整合や一貫性の欠如を是正すること。
• 繰り返し、頻出語の過剰使用、文脈への過剰な依存といった生成モデルの一般的な劣化行動を軽減すること。
• 自然言語推論（NLI）データからの監視信号を用いて、矛盾するか一貫性のない応答が起こりにくくなるようにモデルの推論を向上させること。
• 対話生成における複数の失敗モードを統合的にカバーする一貫したアンリクアリティフレームワークを構築すること。
• アンリクアリティトレーニングの有効性を、単一発話および完全対話の両方の文脈での一貫性タスクに対して評価すること。

提案手法

• 各デコードステップで否定的候補集合を定義することで、アンリクアリティ損失を対話生成に拡張し、望ましくない出力をペナルティ化する。
• アンリクアリティを、発話内での繰り返し、文脈のコピーや頻出語彙の過剰使用といった3種類の分布的不一致を制御するために適用する。
• 標準的な最大尤度損失とアンリクアリティ損失を組み合わせた混合目的関数を採用し、両者を調整するための学習可能ハイパーパrameter α を導入する。
• 事前に用意されたNLIデータセットを活用し、トレーニング中に矛盾するか一貫性のない応答を特定・ペナルティ化する。
• ゴールスタンダードの完了出力だけでなく、ファインチューニング段階でモデルが生成したシーケンスに対してもアンリクアリティ目的関数を適用し、論理的欠陥を是正する。
• 対話応答生成と矛盾検出の両方を同時に学習するマルチタスク設定を採用し、NLI風の監視を活用する。

実験結果

リサーチクエスチョン

• RQ1 アンリクアリティトレーニングは、対話生成における繰り返しや頻出語の過剰使用を効果的に低減できるか？
• RQ2 アンリクアリティトレーニングは、対話文脈へのコピーフレームワーク依存を低減できるか？
• RQ3 アンリクアリティトレーニングは、矛盾する応答が起こりにくくなるようにすることで論理的整合性を向上させられるか？
• RQ4 アンリクアリティベースのトレーニングは、一貫性のある応答と矛盾する応答の両方におけるパープレキシティと選択精度にどのような影響を与えるか？
• RQ5 アンリクアリティフレームワークは、オープンドメイン対話における推論力と一貫性の向上に一般化可能か？

主な発見

• アンリクアリティで微調整されたモデルは、2発話タスクにおいて矛盾する応答のパープレキシティをMLEベースラインの12.5から248.9まで上昇させ、非一貫出力を強く識別していることが示された。
• 2発話タスクにおいて、中立的応答の選択精度がMLEの18％から78％まで向上し、一貫性のある応答と非一貫応答を識別する能力の向上が明確に示された。
• 完全対話タスクでは、非矛盾応答の選択精度が37.4％から69.8％まで上昇し、現実的な対話環境でも堅牢な性能を示した。
• モデルは全体のパープレキシティを低く保った（MLEベースラインで11.4、アンリクアリティファインチューニング後も最小限の低下）、一貫性の低下とトレードオフがないことが示された。
• アンリクアリティフレームワークは、繰り返し、文脈コピーや頻出語の過剰使用を効果的に是正し、モデル出力を人間の応答統計に近づけた。
• モデル構造の変更を一切行わず、損失関数の変更とNLIデータからの追加監視信号のみで、論理的整合性に明確な向上効果を示した。