[논문 리뷰] Human vs Automatic Metrics: on the Importance of Correlation Design

Anastasia Shimorina|arXiv (Cornell University)|2018. 05. 29.

Natural Language Processing Techniques참고 문헌 16인용 수 10

한 줄 요약

이 논문은 자연어 생성(NLG)에서 자동 평가 지표 평가에 영향을 미치는 상관관계 설계—시스템 수준 대비 문장 수준—의 영향을 조사한다. WebNLG 데이터셋과 인간 평가(의미 적합성, 문법성, 유창성)를 사용하여, 문장 수준 상관관계는 항상 유의미하지만 낮은 것으로 나타났다(예: METEOR와 의미 적합성 간 피어슨의 ρ = 0.73). 반면, 시스템 수준 상관관계는 자주 유의미하지 않으며, 이는 NLG에서 문장 수준 평가 및 개선된 지표 개발의 필요성을 강조한다.

ABSTRACT

This paper discusses two existing approaches to the correlation analysis between automatic evaluation metrics and human scores in the area of natural language generation. Our experiments show that depending on the usage of a system- or sentence-level correlation analysis, correlation results between automatic scores and human judgments are inconsistent.

연구 동기 및 목표

• 시스템 수준 대비 문장 수준 상관관계 분석이 NLG에서 자동 지표 평가에 어떻게 영향을 미치는지 조사하기 위해.
• 시스템 수준과 문장 수준에서 일반적인 자동 지표(BLEU, METEOR, TER)의 성능을 인간 평가와 비교하기 위해.
• 다른 상관관계 설계로 인해 발생하는 이전 NLG 평가 관행의 일관성 없는 점을 드러내기 위해.
• NLG에서 오류 분석 및 지표 개발을 위해 문장 수준 상관관계가 더 적합하다고 주장하기 위해.

제안 방법

• 9개의 NLG 시스템에서 유래한 223개의 입력-출력 데이터를 포함한 WebNLG 데이터셋을 사용하였다.
• 의미 적합성, 문법성, 유창성에 대해 3점 리커트 척도를 사용하여 크라우드소싱을 통해 인간 평가를 수집하였다(각 텍스트당 3개 평가).
• 자동 지표(BLEU-4, METEOR, TER)를 시스템 수준과 문장 수준에서 계산하였으며, 편향을 방지하기 위해 인간 기준을 제외하였다.
• 시스템 수준과 문장 수준에서 인간 평가와 자동 점수 간의 상관관계를 비교하기 위해 스피어만의 순위 상관계수를 적용하였다.
• 시스템 수준 분석에서는 유의수준 α = 0.05, 문장 수준 분석에서는 α = 0.001로 양측 검정을 실시하였다.
• 인간 기준의 자동 점수가 인위적으로 높아지는 문제(예: BLEU = 1.0, TER = 0.0)를 방지하기 위해 분석에서 인간 기준을 제외하였다.

실험 결과

연구 질문

• RQ1 NLG에서 인간 평가와 자동 지표 평가 시, 시스템 수준과 문장 수준 상관관계 분석이 결과에 어떻게 다를까?
• RQ2 문장 수준 결과는 유의미한 데도 불구하고, 시스템 수준 상관관계는 왜 자주 통계적으로 유의미하지 않은가?
• RQ3 공통된 자동 지표(BLEU, METEOR, TER)가 NLG에서 문장 수준에서 인간 평가와 어느 정도 상관관계를 가지는가?
• RQ4 평가 설계 선택(시스템 대비 문장 수준)이 NLG에서 지표 성능 해석에 유의미한 영향을 미치는가?
• RQ5 이러한 발견은 NLG에서 새로운 자동 평가 지표 개발에 어떤 함의를 갖는가?

주요 결과

• 시스템 수준에서는 METEOR와 의미 적합성 간 유일하게 통계적으로 유의미한 상관관계(p < 0.001)를 보였고, 나머지 대부분의 상관관계는 유의미하지 않았다.
• 문장 수준에서는 인간 평가와 자동 지표 간 모든 상관관계가 통계적으로 유의미했다(p < 0.001), 그 중 가장 높은 것은 METEOR와 의미 적합성 간 ρ = 0.73였다.
• 자동 지표와 인간 점수 간 문장 수준 상관관계는 전반적으로 낮았으며, 절대값으로 ρ = 0.43에서 ρ = 0.59 사이를 범위로 하였다. 이는 번역 분야의 이전 연구 결과를 확인한다.
• 자동 지표는 문장 수준에서 강한 내부 상관관계(ρ ≥ 0.78)를 보였으며, 이는 서로 간에 높은 일관성을 가짐을 시사한다.
• 시스템 수준와 문장 수준 결과 간의 괴리로 인해 평가 설계의 중요성이 부각되었으며, 문장 수준 분석은 더 신뢰할 수 있고 정교한 통찰을 제공한다.
• 이 연구는 현재 자동 지표가 문장 수준에서 인간 평가와 빈약한 상관관계를 보이고 있음을 종합적으로 밝혀내었으며, 이는 정교한 NLG 평가를 위한 새로운 지표 개발의 필요성을 시사한다.