[論文レビュー] Regularizing Dialogue Generation by Imitating Implicit Scenarios

Shaoxiong Feng, Xuancheng Ren+4 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 43被引用数 4

ひとこと要約

本稿では、将来の会話履歴を活用して隠れた文脈知識を暗黙的にモデル化する、シナリオベースの対話生成フレームワークを提案する。これにより、応答の関連性と多様性が向上する。教師モデル（将来の会話ターンにアクセス可能）から生徒モデル（会話履歴のみに制限）へ、模倣学習を用いてシナリオ知識を転送することで、推論時に将来の文脈にアクセスしないまま応答生成を正則化し、4つのベンチマークで最先端の性能を達成する。

ABSTRACT

Human dialogues are scenario-based and appropriate responses generally relate to the latent context knowledge entailed by the specific scenario. To enable responses that are more meaningful and context-specific, we propose to improve generative dialogue systems from the scenario perspective, where both dialogue history and future conversation are taken into account to implicitly reconstruct the scenario knowledge. More importantly, the conversation scenarios are further internalized using imitation learning framework, where the conventional dialogue model that has no access to future conversations is effectively regularized by transferring the scenario knowledge contained in hierarchical supervising signals from the scenario-based dialogue model, so that the future conversation is not required in actual inference. Extensive evaluations show that our approach significantly outperforms state-of-the-art baselines on diversity and relevance, and expresses scenario-specific knowledge.

研究の動機と目的

• ニューラル対話モデルに特化した文脈知識が欠如していることによる、一般的または関連のない応答が生成される問題に対処する。
• 会話履歴と将来の会話ターンの両方を用いて、現実の対話文脈をエンコードする潜在的会話シナリオをモデル化する。
• 訓練時（将来の文脈あり）と推論時（将来の文脈なし）のギャップを、模倣学習によるシナリオ知識の転送によって埋める。
• シナリオに配慮した教師モデルからの階層的監視信号を用いて生徒モデルを正則化することで、応答の多様性と関連性を向上させる。
• 暗黙のシナリオ知識が、オープンドメイン対話生成における一般化性能と頑健性を向上させることを示す。

提案手法

• シナリオベースの対話モデルは、{会話履歴, 未来の会話}ペアを用いて応答を生成するように訓練され、暗黙的にシナリオに配慮した表現を学習する。
• 従来の対話モデル（生徒）は、模倣学習を用いてシナリオベースモデル（教師）を模倣するように訓練され、各隠れ層での監視により信号伝播を改善する。
• 生徒モデルは教師の中間層および出力層からの distillation を通じて正則化され、露出バイアスが低減され、訓練の軌道が滑らかになる。
• 複数の教師（例えば事前学習済み言語モデルを含む）を用いることで、知識転送を強化し、事前知識を豊かにし、性能を向上させる。
• 模倣によってシナリオ知識を内部化することで、将来の会話なしで推論が可能になるため、実世界への展開に実用的である。
• 最終出力だけでなく中間表現までを含む階層的 distillation を用いることで、一般化性能と収束速度が向上する。

実験結果

リサーチクエスチョン

• RQ1 将来の会話ターンを活用して、対話生成の応答品質を向上させる潜在的シナリオ知識を暗黙的にモデル化できるか？
• RQ2 将来の文脈から得られるシナリオ知識を、推論時に会話履歴しか見ないモデルにどのように転送できるか？
• RQ3 多層監視を用いた模倣学習は、対話生成モデルの一般化性能と頑健性を向上させるか？
• RQ4 暗黙のシナリオと distillation の統合は、従来の手法と比較して、より優れた多様性と関連性を達成できるか？
• RQ5 複数の教師（例：事前学習済み言語モデル）の使用は、フレームワーク内の性能と知識転送にどのような影響を与えるか？

主な発見

• 提案手法 RegDG は、4つの対話データセットで最先端の結果を達成し、多様性と関連性の両方の指標で既存のベースラインを上回った。
• DailyDialog データセットでは、事前学習済み言語モデルを追加の教師として追加することで、Dist-1 が 1.1 から 1.3 に、Dist-2 が 4.4 から 5.0 に、BLEU が 19.1 から 19.4 に向上した。
• 複数の教師を用いたモデルは、わずかな関連性の低下を除き、すべての指標で一貫した向上を示した。これは、言語モデルの無条件生成特性に起因するとされた。
• より多くのモジュールを用いたハード転送では収束が加速し、検証損失がより早く最小値に達した。
• アブレーションスタディにより、階層的 distillation（多層模倣）はトップ層のみの distillation よりも効果的であり、遅延信号問題が軽減された。
• 広範な分析から、暗黙のシナリオを模倣することで生徒モデルが正則化され、より広い局所最適解に導かれることが示された。