[論文レビュー] DAL: Dual Adversarial Learning for Dialogue Generation

Shaobo Cui, Rongzhong Lian+4 more|arXiv (Cornell University)|Jun 23, 2019

Topic Modeling参考文献 35被引用数 10

ひとこと要約

本稿では、二重学習と敵対的訓練を組み合わせてクエリと応答の生成を共同最適化することで、安全な応答を低減し、応答の多様性と自然さを向上させる、新たなフレームワークであるデュアルアダルスティブレーニング（DAL）を提案する。DALは、逆方向生成からの二重信号と、識別器からの敵対的信号を活用することで、自動評価指標、人的評価、推論効率の面で最先端の手法を上回る性能を発揮する。

ABSTRACT

In open-domain dialogue systems, generative approaches have attracted much attention for response generation. However, existing methods are heavily plagued by generating safe responses and unnatural responses. To alleviate these two problems, we propose a novel framework named Dual Adversarial Learning (DAL) for high-quality response generation. DAL is the first work to innovatively utilizes the duality between query generation and response generation to avoid safe responses and increase the diversity of the generated responses. Additionally, DAL uses adversarial learning to mimic human judges and guides the system to generate natural responses. Experimental results demonstrate that DAL effectively improves both diversity and overall quality of the generated responses. DAL outperforms the state-of-the-art methods regarding automatic metrics and human evaluations.

研究の動機と目的

• オープンドメイン対話生成における安全で不自然な応答の問題に対処すること。
• クエリと応答生成の間の双対性を活用して、応答の多様性を向上させること。
• 敵対的訓練により人間の判断を模倣することで、応答の自然さを向上させること。
• 強化学習や高価な再ランク付けを避ける訓練時ソリューションを構築し、MMIのような手法における推論時再ランク付けの非効率性を解消すること。
• 実世界の対話アプリケーションにおいて、品質と効率の両面で高いパフォーマンスを達成すること。

提案手法

• DALは、応答生成（クエリ → 応答）とクエリ生成（応答 → クエリ）の両方を担当する2つの生成的敵対的ネットワーク（GAN）を採用し、これらを二重タスクとしてモデル化する。
• 生成器は、前向きと逆向きの生成の整合性を保つ二重制約によって接続され、安全な応答の発生を低減し、多様性を向上させる。
• 識別器を用いて敵対的学習を実施し、人間が生成した応答と生成された応答を区別させることで、生成器がより自然な出力を生成するように誘導する。
• 共同最適化には2つの信号を用いる：(1) 二重制約からの二重信号、(2) 識別器からの敵対的信号。両者は訓練中に同時に作用する。
• 逆依存関係を訓練目的に直接統合することで、強化学習や高コストな再ランク付けを回避する。
• 最大尤度、二重制約、敵対的目的を統合したエンドツーエンドの訓練により、効率的で高品質な応答生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 クエリと応答生成の間の二重学習が、安全で一般的な応答の生成を効果的に低減できるか？
• RQ2 識別器を用いた敵対的訓練が、生成された応答の自然さと人間らしい質を向上させられるか？
• RQ3 二重学習と敵対的学習を併用することで、応答の多様性と全体的な品質が同時に向上するか？
• RQ4 MMI-bidiのような推論時再ランク付けに依存する手法と比較して、DALの効率性はどの程度か？
• RQ5 敵対的訓練がなくても、二重信号だけでも標準的なSeq2Seqを上回る応答品質を実現できるか？

主な発見

• DAL-DuAdは、応答品質の人的評価で0.778の最高スコアを記録し、Seq2Seqや他のベースラインを著しく上回った。
• ペairwiseの人的評価では、DAL-DuAdがDAL-Dualに27.5％の比較で勝利し、敵対的訓練の追加的利点を示した。
• DAL-Dualはペairwise評価でSeq2Seqに30.75％の比較で勝利し、二重信号の有効性を確認した。
• 効率性実験の結果、DAL-DualとDAL-DuAdはSeq2SeqやAdver-REINと同等の速度であり、再ランク付けに時間がかかるMMI-bidi-5よりも著しく高速であった。
• 事例スタディの結果、DAL手法は「あなた、めっちゃかわいいね！」や「本当にすごい！」といった多様で一貫性があり、文脈的に適切な応答を生成する一方で、ベースラインは「知らないです」のような一般的な応答にとどまっていた。
• アノテーター間のFleiss’ kappa値は0.4から0.6の範囲にあり、中程度の一致を示しており、人的評価結果の信頼性を裏付けた。