[論文レビュー] End-to-end Adversarial Learning for Generative Conversational Agents

Oswaldo Ludwig|arXiv (Cornell University)|Nov 28, 2017

Topic Modeling参考文献 23被引用数 9

ひとこと要約

本稿では、文脈内の会話発話トークンが人間由来か機械生成かを識別するトークンレベルの識別器を用いた、生成的会話エージェント（GCA）のエンドツーエンド敵対的訓練手法を提案する。識別器を経由した逆誤差伝搬を可能にすることで、応答の質と多様性が向上し、敵対的訓練による応答では人間の好みが70.11%に達する一方で、教師強制による応答は29.88%にとどまる。また、人間と敵対的スコアリングの間でJaccardスコアが0.58に達した。

ABSTRACT

This paper presents a new adversarial learning method for generative conversational agents (GCA) besides a new model of GCA. Similar to previous works on adversarial learning for dialogue generation, our method assumes the GCA as a generator that aims at fooling a discriminator that labels dialogues as human-generated or machine-generated; however, in our approach, the discriminator performs token-level classification, i.e. it indicates whether the current token was generated by humans or machines. To do so, the discriminator also receives the context utterances (the dialogue history) and the incomplete answer up to the current token as input. This new approach makes possible the end-to-end training by backpropagation. A self-conversation process enables to produce a set of generated data with more diversity for the adversarial training. This approach improves the performance on questions not related to the training data. Experimental results with human and adversarial evaluations show that the adversarial method yields significant performance gains over the usual teacher forcing training.

研究の動機と目的

• 教師強制による学習で生じる一般的で多様性に欠ける応答の問題に対処すること。
• 個々のトークンが人間由来か機械生成かを分類する識別器を経由したエンドツーエンドの逆誤差伝搬を可能にすることで、応答の質と多様性を向上させること。
• 複数のモデルからの応答の中で最良のものを順位付け・選択できるように、訓練済みの識別器を開発し、個々の学習を超えたパフォーマンス向上を実現すること。
• エンコーディングに使用する会話履歴のターン数を動的に調整することで、文脈の保持とトピックのシフト検出を検討すること。

提案手法

• モデルは、会話履歴を思考ベクトルに変換するエンコーダを備えたシーケンス・トゥ・シーケンスアーキテクチャを採用しており、各デコードステップで文脈を維持するために、思考ベクトルを更新する。
• 識別器はトークンレベルの分類を実行し、会話履歴と部分的応答を条件として、各生成トークンが人間由来か機械生成かを判断する。
• 識別器は敵対的損失により学習され、標準的な逆誤差伝搬を用いて生成器と識別器の両方をエンドツーエンドでバックプロパゲート可能となる。強化学習ではなく、標準的なバックプロパゲーションが使用される。
• 自己会話プロセスにより、多様な訓練データが生成され、未知のドメインの質問に対しても一般化性能が向上する。
• 各トークンにおける識別器の出力を幾何平均（式10）としてスコアとして用い、候補応答の順位付けに活用することで、選択精度が向上する。
• 標準的な交差エントロピー損失と識別器スコアの幾何平均を組み合わせたハイブリッド損失を用いることで、自然さと人間らしい質の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 トークンレベルの識別器を用いることで、逆誤差伝搬を介した生成的会話エージェントにおけるエンドツーエンド敵対的訓練が可能になるか？
• RQ2 文脈に配慮した識別器を用いた敵対的訓練は、教師強制に比べて応答の質と多様性を向上させるか？
• RQ3 訓練済みの識別器は、複数のモデルからの応答の中で最良のものを効果的に順位付け・選択できるか？
• RQ4 会話履歴のターン数が、モデルの文脈保持およびトピックシフト対処能力に与える影響は何か？

主な発見

• 敵対的訓練モデルは直接評価において70.11%の人間の好みを得たのに対し、教師強制モデルはたった29.88%の投票にとどまった。
• 識別器の幾何平均スコア（式10）を用いた応答順位付けにより、人間の判断とJaccardインデックス0.58の高い一致が得られ、人間の好みと敵対的スコアリングの整合性が強いことが示された。
• 敵対的モデルは570票（全投票の69.34%）を獲得した一方で、教師強制モデルは252票（30.66%）にとどまり、より高いとされる応答の質が確認された。
• 敵対的学習で訓練された識別器は、複数モデルからの応答選択に再利用可能であり、選択基準として用いた際には61.96%の票を獲得した。
• N_u = 1 の場合、文脈保持が失敗する。N_u > 2 の場合、モデルはトピックのシフトに対応できず、動的文脈ウィンドウの導入が求められる。