[論文レビュー] The price of debiasing automatic metrics in natural language evaluation

Arun Tejasvi Chaganty, Stephen Mussman+1 more|arXiv (Cornell University)|Jul 6, 2018

Topic Modeling参考文献 30被引用数 43

ひとこと要約

本論文は、自動指標と人間の判断を組み合わせたコントロール変数推定量を提案し、低コストで偏りのない評価を得られることを示し、固定分散パラメータの下でミニマックス最適性を証明する。

ABSTRACT

For evaluating generation systems, automatic metrics such as BLEU cost nothing to run but have been shown to correlate poorly with human judgment, leading to systematic bias against certain model improvements. On the other hand, averaging human judgments, the unbiased gold standard, is often too expensive. In this paper, we use control variates to combine automatic metrics with human evaluation to obtain an unbiased estimator with lower cost than human evaluation alone. In practice, however, we obtain only a 7-13% cost reduction on evaluating summarization and open-response question answering systems. We then prove that our estimator is optimal: there is no unbiased estimator with lower cost. Our theory further highlights the two fundamental bottlenecks---the automatic metric and the prompt shown to human evaluators---both of which need to be improved to obtain greater cost savings.

研究の動機と目的

• 自動評価指標におけるバイアスの問題と、より安価で偏りのない人間評価の必要性を動機づける。
• 分散を低減するために自動指標と人間の判断を組み合わせたコントロール変量アプローチを導入する。
• 固定分散と相関の下で推定量のミニマックス最適性を証明する。
• タスクとプロンプト全体でデータ効率とコスト削減を定量化する。
• コスト削減を高める評価プロンプトと指標の改善に関する実用的ガイドラインを提案する。

提案手法

• 評価問題を、人間のスコア Y(z) と自動指標 g(z) で定義する。
• アルファ = Cov(f(z), g(z)) を用いて hat_mu_cv = (1/n) sum_i [ y^(i) - alpha g(z^(i)) ] を構築する。
• ノイズを抑制するために g を平均 0、分散 1 に標準化する。
• Var(hat_mu_cv) = (1/n)( sigma_f^2(1 - rho^2) + sigma_a^2 ) を証明する。
• sigma_f^2, sigma_a^2, および alpha が与えられたとき、無偏推定量の中でミニマックス最適性を示す。
• アルファのプラグイン推定やサンプルサイズ計画を含む実装上の実践的指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 自動指標を安全に活用して人間評価のコストを削減し、結果に偏りを生じさせないことができるか。
• RQ2 アノテータの分散と人間の判断と自動指標の相関を考慮した場合、どれだけのコスト削減（データ効率）が達成可能か。
• RQ3 より大きなコスト削減を実現する際の根本的なボトルネックは何か。
• RQ4 効率を最大化するために評価プロンプトと指標はどのように改善すべきか。
• RQ5 既知の分散と相関パラメータの下で提案された推定量はミニマックス最適か。

主な発見

タスク	Eval.	sigma_a^2	sigma_f^2	gamma
CDM	Fluency	0.32	0.26	1.23
CDM	Redundancy	0.26	0.43	0.61
CDM	Overall	0.28	0.28	1.00
CDM	Edit	0.07	0.18	0.36
MS MARCO	AnyCorrect	0.14	0.15	0.95
MS MARCO	AvgCorr	0.12	0.13	0.91

• コントロール変数推定量は、rho と gamma に依存する要因で分散を削減した無偏評価を実現する。
• データ効率は現在の指標とプロンプトで7%〜13%のコスト削減、すなわち DE ≈ 1.08–1.15。
• 最適性: 固定の sigma_f^2, sigma_a^2, および alpha を持つ無偏推定量の中で hat_mu_cv は分散を最小にする。
• アノテータ分散が低減され、かつ自動指標が人間判断とより高く相関するほどデータ効率は向上する。
• ポスト編集プロンプトは、Likelihoodスケールプロンプトと比較してアノテータ分散を約3倍低減できる。
• ROUGE-L とポスト編集プロンプトは、VecSim や Likert プロンプトよりもデータ効率に寄与する。