[논문 리뷰] The price of debiasing automatic metrics in natural language evaluation

Arun Tejasvi Chaganty, Stephen Mussman외 1명|arXiv (Cornell University)|2018. 07. 06.

Topic Modeling참고 문헌 30인용 수 43

한 줄 요약

이 논문은 자동 지표와 인간 판단을 결합한 제어 변량 추정기를 제안하여 편향 없이 비용을 줄인 평가를 얻고, 고정 분산 매개변수 하에서 최소극대 최적성을 증명한다.

ABSTRACT

For evaluating generation systems, automatic metrics such as BLEU cost nothing to run but have been shown to correlate poorly with human judgment, leading to systematic bias against certain model improvements. On the other hand, averaging human judgments, the unbiased gold standard, is often too expensive. In this paper, we use control variates to combine automatic metrics with human evaluation to obtain an unbiased estimator with lower cost than human evaluation alone. In practice, however, we obtain only a 7-13% cost reduction on evaluating summarization and open-response question answering systems. We then prove that our estimator is optimal: there is no unbiased estimator with lower cost. Our theory further highlights the two fundamental bottlenecks---the automatic metric and the prompt shown to human evaluators---both of which need to be improved to obtain greater cost savings.

연구 동기 및 목표

• 자동 평가 지표의 편향 문제와 더 저렴하고 편향되지 않은 인간 평가의 필요성을 동기로 삼는다.
• 분산을 줄이기 위해 자동 지표와 인간 판단을 결합하는 제어 변량 방법을 도입한다.
• 고정된 분산 및 상관관계 하에서 추정기의 minimax 최적성을 증명한다.
• 작업과 프롬프트 전반에 걸친 데이터 효율성과 비용 절감을 정량화한다.
• 비용 절감을 높이기 위한 평가 프롬프트와 지표 개선에 관한 실용적 가이드라인을 제시한다.

제안 방법

• 인간 점수 Y(z)와 자동 지표 g(z)로 평가 문제를 정의한다.
• 알파 = Cov(f(z), g(z))일 때 hat_mu_cv = (1/n) sum_i [ y^(i) - alpha g(z^(i)) ] 를 구성한다.
• 잡음을 제어하기 위해 g를 평균 0, 분산 1로 표준화한다.
• Var(hat_mu_cv) = (1/n)( sigma_f^2(1 - rho^2) + sigma_a^2 ) 를 증명한다.
• sigma_f^2, sigma_a^2, 및 alpha가 주어졌을 때 무편향 추정기들 중에서 minimax 최적성을 보인다.
• 알파의 플러그인 및 샘플 크기 계획을 포함한 실질적 구현 지침을 제공한다.

실험 결과

연구 질문

• RQ1 자동 지표를 안전하게 활용하여 결과에 편향을 주지 않으면서 인간 평가 비용을 줄일 수 있는가?
• RQ2 주석자 분산 및 인간 판단과 자동 지표 간의 상관관계가 주어졌을 때 얼마나 많은 비용 절감(데이터 효율성)을 달성할 수 있는가?
• RQ3 더 큰 비용 절감을 달성하는 데 있어서 근본적인 병목은 무엇인가?
• RQ4 효율성을 극대화하기 위해 평가 프롬프트와 지표를 어떻게 개선해야 하는가?
• RQ5 알려진 분산 및 상관 매개변수 하에서 제안된 추정기가 minimax 최적인가?

주요 결과

• 제어 변량 추정기는 rho와 gamma에 따라 분산이 감소하는 편향 없는 평가를 달성한다.
• 데이터 효율성은 현재 지표와 프롬프트로 7%에서 13%의 비용 절감 범위를 보이며, 즉 DE ≈ 1.08–1.15.
• 최적성: 고정된 sigma_f^2, sigma_a^2, 및 alpha를 갖는 모든 무편향 추정기 중에서 hat_mu_cv가 분산을 최소화한다.
• 주석자 분산이 감소하고 자동 지표와 인간 판단 간의 상관이 커질수록 데이터 효율성은 향상된다.
• 포스트 에디팅 프롬프트는 Likert 스케일 프롬프트에 비해 주석자 분산을 약 3배 감소시킬 수 있다.
• ROUGE-L과 포스트에디팅 프롬프트가 VecSim 또는 Likert 프롬프트보다 더 나은 데이터 효율성에 기여한다.