[論文レビュー] Adversarial Evaluation of Dialogue Models

Anjuli Kannan, Oriol Vinyals|arXiv (Cornell University)|Jan 27, 2017

Topic Modeling参考文献 11被引用数 66

ひとこと要約

この論文は、機械生成の応答と人間の応答を区別する discriminator を用いて対話モデルを評価することを研究しており; discriminator は約62.5％の精度を達成し、既知の弱点を浮き彫りにしたが、実用的な採用は依然として不確実である。

ABSTRACT

The recent application of RNN encoder-decoder models has resulted in substantial progress in fully data-driven dialogue systems, but evaluation remains a challenge. An adversarial loss could be a way to directly evaluate the extent to which generated dialogue responses sound like they came from a human. This could reduce the need for human evaluation, while more directly evaluating on a generative task. In this work, we investigate this idea by training an RNN to discriminate a dialogue model's samples from human-generated samples. Although we find some evidence this setup could be viable, we also note that many issues remain in its practical application. We discuss both aspects and conclude that future work is warranted.

研究の動機と目的

• データ駆動型対話システムの評価を perplexity および BLEU を超えて改善する動機づけ。
• 敵対的設定が人間評価の自動代理として機能するかを調査する。
• 訓練済み discriminator が生産品質の対話モデルの長所と弱点を明らかにするものかを検討する。

提案手法

• Generator: 観測された (o,r) ペアに対して P(r|o) を最大化するよう訓練されたシーケンス対シーケンス RNN エンコーダ-デコーダ。
• Discriminator: 人間による r か生成器による r かを区別するために訓練されたエンコーダを持つ RNN と二値分類器。
• Generator の訓練目的: データ全体の和として log P(r1,...,rm|o1,...,on) を最大化。
• Discriminator の訓練目的: データ全体の和として log P(y|o1,...,on,r1,...,rm) を最大化。ここで y は human (1) または generator (0) を示す。
• 実験設定は生産的な Smart Reply データを模しており、ディスクリミネータは保持集合のペアに対して半分を人間ラベル、半分を generator サンプルの応答で訓練した。

実験結果

リサーチクエスチョン

• RQ1 現実的な設定で discriminator は人間と機械生成対話応答を効果的に識別できるか？
• RQ2 Discriminator は対話モデルのどの弱点やバイアスを明らかにするか？
• RQ3 Discriminator ベースの評価は人間の判断や改善された対話品質と一致するか？
• RQ4 自動対話評価のための discriminator の実用的な課題は何か？

主な発見

• Discriminator の精度は 62.5％。
• Discriminator の判断は長さ分布のバイアスや「ありがとう」などの単純な返答への依存といった既知の弱点を反映する。
• Discriminator はより珍しい言語と長い応答を好み、多様性と長さのシグナルを重要な特徴として浮き上がらせる。
• 同じ長さの応答を比較した場合の Spearman 相関は約 -0.02 と弱い。
• Discriminator の性能は人間が観察した弱点を明らかにするが、人間評価や全体的な品質の信頼できる代理としては証明しない。
• 本研究はさらなる調査を示唆し、ディスクリニネータを単独の評価指標として頼りすぎないよう警告している。