[論文レビュー] An Adversarial Approach to High-Quality, Sentiment-Controlled Neural Dialogue Generation

Xiang Kong, Bohan Li+3 more|arXiv (Cornell University)|Jan 22, 2019

Topic Modeling参考文献 32被引用数 20

ひとこと要約

本稿では、会話履歴とセンチメントラベルに条件付けられた応答を生成する高品質でセンチメント制御可能な神経的対話生成のための条件付き生成対抗ネットワーク（CGAN）フレームワークを提案する。生成器は会話履歴とセンチメントラベルに応じて応答を生成し、識別器は応答の流暢さとセンチメントの正確性を強制する。この手法は自動評価および人的評価の両面で最先端の結果を達成し、ベースラインモデルに比べて応答品質とセンチメント制御性が顕著に向上した。

ABSTRACT

In this work, we propose a method for neural dialogue response generation that allows not only generating semantically reasonable responses according to the dialogue history, but also explicitly controlling the sentiment of the response via sentiment labels. Our proposed model is based on the paradigm of conditional adversarial learning; the training of a sentiment-controlled dialogue generator is assisted by an adversarial discriminator which assesses the fluency and feasibility of the response generating from the dialogue history and a given sentiment label. Because of the flexibility of our framework, the generator could be a standard sequence-to-sequence (SEQ2SEQ) model or a more complicated one such as a conditional variational autoencoder-based SEQ2SEQ model. Experimental results using automatic and human evaluation both demonstrate that our proposed framework is able to generate both semantically reasonable and sentiment-controlled dialogue responses.

研究の動機と目的

• 高品質で意味的に適切な応答を生成しつつ、明示的にセンチメントを制御できるニューラル対話生成システムの開発。
• 既存手法がセンチメント制御を欠いている、またはデータスパarsityと高い計算コストに苦しむという限界を解決すること。
• 条件付き対抗学習を活用し、応答の流暢さとセンチメントの整合性を同時に最適化すること。
• 標準的なseq2seqおよびCVAEベースのモデルを含む、さまざまな生成器アーキテクチャへの柔軟な統合を可能にすること。
• 離散的出力に対する方策勾配アプローチを用いた対抗学習により、応答の多様性と品質を向上させること。

提案手法

• フレームワークは、生成器と識別器を備えた条件付きGAN（CGAN）を採用し、生成器は会話履歴とセンチメントラベルに条件付けられた応答を生成する。
• 識別器は、三つ組（会話履歴、センチメントラベル、応答）の真正性を評価し、実データと生成データを区別する。
• 生成器は方策勾配を用いて訓練され、生成された応答が識別器によって「本物」と識別される確信度を最大化するように最適化され、流暢さとセンチメント整合性が向上する。
• 生成器は標準的なシーケンス・ツー・シーケンス（SEQ2SEQ）モデルまたはCVAEベースのSEQ2SEQモデルとして実装可能である。
• 訓練プロセスでは、生成器が流暢でかつ指定されたセンチメントラベルと整合性のある応答を生成するよう促すために、対抗損失が用いられる。
• 強化学習を用いたエンドツーエンドの訓練が可能であり、離散的応答系列の最適化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 対抗学習は、神経的対話応答の流暢さとセンチメントの一貫性を効果的に改善できるか？
• RQ2 提案されたCGANフレームワークは、会話履歴に意味的に関連する応答を生成しつつ、生成応答のセンチメントを明示的に制御できるか？
• RQ3 応答品質とセンチメント正確性の観点から、提案手法はベースラインモデルと比較してどのように差をつけるか？
• RQ4 CVAEベースの生成器とCGANフレームワークを組み合わせることで、応答の多様性と品質がさらに向上するか？
• RQ5 対抗学習の目的関数は、さまざまな対話文脈やセンチメントラベルに一般化可能か？

主な発見

• 自動評価において、CGAN-CVAEモデルは全モデルの中で最小のパープレキシティ（69.54）と最大のセンチメント正確度（78.8%）を達成した。
• 人的評価では、CGAN-CVAEモデルが最高の品質スコア（3.9）とセンチメント正確度（78.9%）を記録し、すべてのベースラインを上回った。
• CGAN-CVAEモデルはより多様で文脈に適った応答を生成し、例えばポジティブセンチメントでは「omg i love it」、ネガティブセンチメントでは「that’s the worst」といった応答を生成した。
• 標準的なSEQ2SEQモデルやCVAEモデルに比べ、CGANフレームワークは応答品質を顕著に向上させ、ベースラインのSEQ2SEQモデルに比べてセンチメント正確度が20%向上した。
• 識別器は生成器が流暢でかつターゲットセンチメントと整合性のある応答を生成するよう効果的に導いたことが、自動評価および人的評価の両方で確認された。
• 本手法は多様な対話文脈にわたり頑健であり、曖昧または感情的が強い入力に対しても適切な応答を生成した。