[논문 리뷰] Inherent Biases in Reference based Evaluation for Grammatical Error Correction and Text Simplification

Leshem Choshen, Omri Abend|arXiv (Cornell University)|2018. 04. 30.

Text Readability and Simplification참고 문헌 35인용 수 10

한 줄 요약

이 논문은 문법 오류 수정(Grammatical Error Correction, GEC) 및 텍스트 단순화에서 기준 기반 평가가 보편적인 저커버리지 편향(Low-coverage bias, LCB)을 야기함을 보여주며, 이는 유효한 수정 사례의 긴 尾 분포로 인해 시스템이 포괄적인 수정보다 최소한의 타겟 맞춤 수정을 유도당하게 되기 때문이다. 참고 문장 수를 늘리거나 점수 재가중치를 적용하더라도 LCB는 실질적으로 극복될 수 없으며, 이는 M2, GLEU, SARI와 같은 표준 평가 지표의 신뢰성을 떨어뜨리며, 항상 수정 부족을 과소평가하고 시스템 개발을 잘못 이끈다.

ABSTRACT

The prevalent use of too few references for evaluating text-to-text generation is known to bias estimates of their quality ({\it low coverage bias} or LCB). This paper shows that overcoming LCB in Grammatical Error Correction (GEC) evaluation cannot be attained by re-scaling or by increasing the number of references in any feasible range, contrary to previous suggestions. This is due to the long-tailed distribution of valid corrections for a sentence. Concretely, we show that LCB incentivizes GEC systems to avoid correcting even when they can generate a valid correction. Consequently, existing systems obtain comparable or superior performance compared to humans, by making few but targeted changes to the input. Similar effects on Text Simplification further support our claims.

연구 동기 및 목표

• 기준 집합의 제한으로 인한 GEC 및 텍스트 단순화 평가의 신뢰성에 미치는 영향을 조사하는 것.
• 저커버리지 편향(Low-coverage bias, LCB)이 시스템 성능 순위를 어떻게 왜곡하고 모델 개발을 잘못 이끄는지 분석하는 것.
• 재가중치 또는 기준 수를 늘이는 것이 실질적으로 LCB를 완화하는 데 효과적인지 평가하는 것.
• 유효한 수정의 분포 평가 및 평가 지표 자체의 평가를 위한 방법론적 도구를 제안하는 것.

제안 방법

• 저자들은 인간이 애너테이션한 기준 집합을 기반으로 NUCLE 테스트 세트에서 부트스트래핑을 사용하여 문장당 유효한 수정의 진정한 분포를 추정한다.
• 추정된 수정 분포 Dx 에서 샘플링하여 '완벽한' 시스템 출력을 시뮬레이션함으로써 다양한 기준 집합 하에서의 평가를 가능하게 한다.
• 다양한 기준 수(M)에 대해 표준 지표(M2, GLEU, SARI, 정확도)를 비교하여 커버리지 및 편향을 측정한다.
• 다중 기준 점수 효과를 피하기 위해 최대 단일 기준 점수를 취하는 수정된 SARI인 MAX-SARI를 도입한다.
• Moses 및 신경망 모델의 k-best 목록에서 재순서 실험을 수행하여 기준 수 M 증가가 수정 부족 현상을 얼마나 줄이는지 평가한다.
• GEC 및 텍스트 단순화 양쪽에서 결과를 검증하여 유사한 긴 꼬리 분포 및 편향 패턴을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 낮은 기준 커버리지 평가가 GEC 시스템의 성능 순위를 어느 정도 왜곡하는가?
• RQ2 재가중치 또는 기준 수(M)를 늘이는 것이 GEC 평가에서 저커버리지 편향을 효과적으로 극복할 수 있는가?
• RQ3 유효한 수정의 긴 꼬리 분포가 M2 및 GLEU와 같은 표준 지표의 신뢰성에 어떻게 영향을 미치는가?
• RQ4 기존 GEC 시스템이 인간보다 훨씬 적은 수정을 하지만 표준 지표에서 인간을 초월하는 이유는 무엇인가?
• RQ5 SARI의 다중 기준 점수 기법이 텍스트 단순화 평가에서 커버리지 및 신뢰성에 어떤 방식으로 왜곡을 초래하는가?

주요 결과

• NUCLE 테스트 세트의 평균 문장은 1,000개 이상의 유효한 수정을 가지며, 일부 수정은 매우 높은 확률을 가지지만 대부분은 희귀하다는 긴 꼬리 분포를 보인다.
• 8개의 기준이 있어도 M2, GLEU, SARI와 같은 표준 지표는 진정한 수정 공간의 약 45%만 커버하며, 이 커버리지는 M과 거의 무관하다.
• 기존 GEC 시스템은 인간보다 수정을 약 10배 정도 적게 하지만, M2 및 GLEU에서는 여전히 인간을 뛰어넘는 성능을 보인다.
• 기준 수를 늘여도 수정 부족 현상은 완화되지만 수익 감소 현상이 발생하여 LCB를 완전히 해결하는 데 실질적으로 불가능하다.
• SARI의 다중 기준 점수 기법은 직관적이지 않으며, 동일한 출력을 기준과 비교할 때 페널티를 줄 수 있다. MAX-SARI는 더 높은 커버리지와 일관성을 보였다.
• 동일한 편향은 텍스트 단순화에도 적용되며, 유효한 단순화도 긴 꼬리 분포를 보이며, 표준 지표는 성능 예측을 심각하게 과소평가한다.