[論文レビュー] Retrieval-Enhanced Adversarial Training for Neural Response Generation

Qingfu Zhu, Lei Cui+3 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 46被引用数 6

ひとこと要約

本稿では、検索ベースのシステムから得られるN-best応答候補を敵対的訓練フレームワークに統合することで、ニューラル応答生成を向上させる、新しい手法である検索強化敵対的訓練（REAT）を提案する。これらの候補を用いて生成器をガイドする discriminator を訓練することで、REAT は応答の多様性と関連性を顕著に向上させ、自動評価および人間評価の両面で、vanilla Seq2Seq および従来の敵対的訓練ベースラインを上回る性能を発揮する。

ABSTRACT

Dialogue systems are usually built on either generation-based or retrieval-based approaches, yet they do not benefit from the advantages of different models. In this paper, we propose a Retrieval-Enhanced Adversarial Training (REAT) method for neural response generation. Distinct from existing approaches, the REAT method leverages an encoder-decoder framework in terms of an adversarial training paradigm, while taking advantage of N-best response candidates from a retrieval-based system to construct the discriminator. An empirical study on a large scale public available benchmark dataset shows that the REAT method significantly outperforms the vanilla Seq2Seq model as well as the conventional adversarial training approach.

研究の動機と目的

• sequence-to-sequenceモデルが多様で情報豊かな応答を生成する能力に欠けるという問題を、外部の検索ベースの候補を統合することで解決すること。
• 既存の検索拡張生成モデルにおける最大尤度推定（MLE）目的関数と応答品質との間の弱い相関を克服すること。
• N-best応答候補を条件として discriminator を条件づけることで、人間らしい応答を識別する能力を向上させること。
• 実際の検索候補に基づいて訓練された discriminator から学習することで、生成器がより多様で文脈的に適切な応答を生成できるようにすること。

提案手法

• REATフレームワークは、敵対的訓練を用いたエンコーダ・デコーダアーキテクチャであり、生成器が応答を生成し、discriminator がその真偽を評価する。
• discriminator は、人間が入力した実際の応答と、検索ベースのシステムから得られる N-best 応答候補の両方を用いて訓練され、分類精度と一般化能力が向上する。
• N-best 応答候補が discriminator の参照入力として使用され、コンテンツの多様性と関連性を反映する識別的信号を学習できる。
• 生成器は、discriminator をだませるような応答を生成するように訓練され、候補から情報を豊富に含んだ多様な内容を組み込むよう促される。
• discriminator と生成器の両方における候補の寄与を別々に評価するための2つの変種、D+ と G+ が導入され、併用の有効性が検証された。
• モデルは敵対的損失を用いてエンドツーエンドで訓練され、自動指標（Dist-1, Dist-2, Originality）と人間評価を用いて応答品質が評価された。

実験結果

リサーチクエスチョン

• RQ1 MLEベースの訓練と比較して、検索強化型 discriminator を用いた敵対的訓練は、応答の多様性と情報性を向上させることができるか？
• RQ2 N-best 応答候補を discriminator の条件として用いることで、実際の応答と生成された応答を識別する能力はどのように向上するか？
• RQ3 検索候補は、生成器がより多様で文脈的に適切な応答を生成する能力をどの程度向上させるか？
• RQ4 生成器と discriminator の両方で候補を併用することは、片方でのみ使用する場合よりも優れた性能をもたらすか？
• RQ5 自動評価および人間評価において、REAT は最先端の検索拡張型および敵対的訓練手法と比較してどのように差をつけるか？

主な発見

• REAT は自動評価および人間評価の両方で、vanilla Seq2Seq モデルおよび従来の敵対的訓練（AL）を顕著に上回り、その有効性が裏付けられた。
• REAT を用いることで、Dist-2 スコアが AL と比較して 0.112 上昇（0.124 から 0.236 に）し、統計的に有意な改善（p < 0.01）を示した。これは n-gram の多様性が向上したことを示している。
• Dist-2 の向上幅は、MLEベースの検索拡張モデル（0.062 の上昇）よりも顕著に大きく、敵対的訓練が検索候補をより効果的に活用できることを示している。
• G+（候補を生成器でのみ使用）は D+（候補を discriminator のみで使用）よりも大きな性能向上を示したが、Ours（両方で使用）が最も優れた結果を達成し、併用の利点が裏付けられた。
• 人間評価では、情報性と適切さについて高い一致度（kappa > 0.6）が得られ、モデルが高品質で文脈的に適切な応答を生成していることが確認された。
• 図2に示すように、REAT は一般的な表現を避け、'Unicom' や 'Telecom' といった候補からの関連する内容を統合した、より多様で情報豊かな応答を生成している。