[論文レビュー] How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation

Chia‐Wei Liu, Ryan Lowe+4 more|arXiv (Cornell University)|Mar 25, 2016

Topic Modeling参考文献 41被引用数 614

ひとこと要約

この論文は、一般的な教師なし自動評価指標（BLEU、METEOR、ROUGE、および埋め込みベースのスコア）が、対話応答に対する人間の判断と相関が低いことを、TwitterとUbuntuドメイン全体で示し、より良い評価指標の開発を提案している。

ABSTRACT

We investigate evaluation metrics for dialogue response generation systems where supervised labels, such as task completion, are not available. Recent works in response generation have adopted metrics from machine translation to compare a model's generated response to a single target response. We show that these metrics correlate very weakly with human judgements in the non-technical Twitter domain, and not at all in the technical Ubuntu domain. We provide quantitative and qualitative results highlighting specific weaknesses in existing metrics, and provide recommendations for future development of better automatic evaluation metrics for dialogue systems.

研究の動機と目的

• 監督付きタスクラベルを用いずに、対話応答生成のための教師なし自動指標の有効性を評価する。
• 単語重複指標と埋め込みベースの指標を人間の判断の予測因子として検討する。
• ドメイン多様な対話データセット（TwitterとUbuntu）間で指標の性能を比較する。
• 現在の指標の弱点を特定するための定性的および統計的分析を提供する。
• 人間の判断とより一致する将来の指標設計への提言を行う。

提案手法

• TwitterとUbuntuコーパス全体で、抽出および生成型の多様な対話モデルから応答を収集する。
• BLEU、METEOR、ROUGE の単語重複指標と、Greedy Matching、Embedding Average、Vector Extrema の埋め込みベース指標を用いて、真実の応答と提案応答を評価する。
• PearsonおよびSpearmanの相関を用いて自動指標スコアと人間の判断を相関させる。
• 指標と人間が不一致となる例ケースの定性的分析を実施して、故障モードを特定する。
• ストップワード／句読点の影響や応答長さの違いに対する指標の感度を分析する。
• 限界を論じ、将来の指標設計の指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 標準的な教師なし指標は、異なるドメインにわたる対話応答品質の人間の判断と相関するか。
• RQ2 単語重複と埋め込みベース指標は、TwitterおよびUbuntu対話データセットの人間判断と相関する性能をどう示すか。
• RQ3 現在の自動評価指標の主な欠点は何か。
• RQ4 人間の判断とより緊密に一致する指標を生む方向性は何か。

主な発見

• BLEUスコア（BLEU-4を含む）は、両ドメインで人間の判断と非常に弱いまたはほぼ相関しないことを示し、Twitterでのみわずかな正の相関が見られる。
• 埋め込みベースの指標はモデル品質（最先端 vs ベースライン）を識別するが、人間の判断と相関が弱い、あるいは全く相関しないことが多く、特にUbuntuで顕著である。
• BLEU-2とembedding-averageは最も良い相関を示すが依然として弱く、ストップワード/句読点を削除した場合や応答長さが大きく異なる場合には相関が低下する。
• 定性的な例は、語彙の違いが埋め込みベースの指標を誤誘導する可能性があることを示し、意味的適合性を捉えるには文脈依存の評価が必要である。
• BLEU-3/4はしばしばほぼゼロに近いスコアを示し、実務での対話評価には信頼できない。
• 本研究は、現在の指標が教師なし対話評価には不適切であると結論づけ、人間の判断をより正確に反映する新しい指標の開発を求めている。