[논문 리뷰] BLEU is Not Suitable for the Evaluation of Text Simplification

Elior Sulem, Omri Abend외 1명|arXiv (Cornell University)|2018. 10. 14.

Text Readability and Simplification참고 문헌 21인용 수 4

한 줄 요약

이 논문은 문장 분할을 포함한 텍스트 단순화 평가에 BLEU가 부적합하다는 것을 입증한다. 특히 단순성과의 부정적 상관관계와 인간 평가와의 낮은 일치도로 인해, BLEU는 문장 분할과 같은 구조적 단순화 작업에서 오해의 소지가 있다. 새로 제작한 인간 애너테이션 기반 코퍼스(HSplit)를 사용하여, 저자들은 BLEU가 문법성, 의미 유지도, 특히 단순성까지 포착하지 못함을 보여주며, 일반적으로 간결한 문장 분할을 처벌함으로써 이는 구조적 단순화 작업에서 잘못된 방향을 유도한다.

ABSTRACT

BLEU is widely considered to be an informative metric for text-to-text generation, including Text Simplification (TS). TS includes both lexical and structural aspects. In this paper we show that BLEU is not suitable for the evaluation of sentence splitting, the major structural simplification operation. We manually compiled a sentence splitting gold standard corpus containing multiple structural paraphrases, and performed a correlation analysis with human judgments. We find low or no correlation between BLEU and the grammaticality and meaning preservation parameters where sentence splitting is involved. Moreover, BLEU often negatively correlates with simplicity, essentially penalizing simpler sentences.

연구 동기 및 목표

• 텍스트 단순화(TS) 특히 핵심적인 구조적 연산인 문장 분할에 대해 BLEU의 적합성을 평가하기 위해.
• 특히 문장 분할이 포함된 경우에 구조적 단순화를 위한 신뢰할 수 있는 자동 평가 지표의 부족을 해결하기 위해.
• 문장 분할을 평가하기 위해 분할에 초점을 맞춘 기준 집합을 사용할 때 BLEU가 어떻게 적용될 수 있는지 조사하기 위해.
• BLEU의 성능을 단순한 기준인 -LD SC와 비교하여 인간 평가 척도인 단순성, 문법성, 의미 유지도를 얼마나 잘 반영하는지 분석하기 위해.

제안 방법

• 문장 분할을 포함한 다수의 구조적 동의어를 포함한 새로운 인간 애너테이션 기반 기준 코퍼스인 HSplit을 구축하였다.
• BLEU, iBLEU, SARI, -LD SC와 같은 자동 평가 지표와 인간 평가 간의 문법성(G), 의미 유지도(M), 단순성(S), 구조적 단순성(StS)에 대한 시스템 수준 및 문장 수준의 스피어만 상관관계 분석을 수행하였다.
• BLEU 평가를 두 가지 기준 설정으로 수행하였다: 어휘적 연산을 강조하는 표준 기준 집합(Xu et al., 2016)과 문장 분할에 집중한 HSplit 코퍼스.
• 상관관계 계수와 p-값을 계산하여 BLEU 및 기준 지표가 인간 평가를 예측하는 데의 신뢰도를 평가하였다.
• -LD SC, 즉 원본에 대한 단순한 유사도 측정법과 비교하여 BLEU가 단순히 원본 유사도의 지표로 기능하는지 여부를 테스트하기 위해 분석하였다.
• 문장 분할이 BLEU 점수에 미치는 영향을 분석하기 위해, 분할 기능이 있는 시스템과 없는 시스템 간의 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 BLEU는 텍스트 단순화에서 단순성에 대한 인간 평가와 상관관계가 있는가, 특히 문장 분할이 포함된 경우에 대해?
• RQ2 BLEU는 텍스트 단순화 출력에서 문법성과 의미 유지도를 신뢰성 있게 측정할 수 있는가, 특히 문장 분할이 발생할 경우에 대해?
• RQ3 BLEU의 성능은 HSplit과 같이 문장 분할에 특화된 기준 집합을 사용할 때 향상되는가?
• RQ4 BLEU는 단순히 원본 유사도(보수성)를 측정하는 지표일 뿐이며, 실제 단순화 품질의 지표로 기능하지 않는가?
• RQ5 BLEU는 인간 평가의 단순화 품질 예측 능력에서 -LD SC와 같은 단순한 기준보다 어떻게 비교되는가?

주요 결과

• HSplit을 기준으로 사용할 경우, BLEU는 단순성(S)과 구조적 단순성(StS)과 부정적 상관관계를 보이며, 시스템 수준의 스피어만 상관계수는 각각 -0.70(p=0.06) 및 -0.60(p=0.1)이다.
• 문장 분할이 포함된 상황에서 BLEU는 의미 유지도(M)와 문법성(G)과 낮거나 상관관계가 없는 편이며, HSplit 설정에서 각각 0.11(p=0.4) 및 0.57(p=0.1)의 상관계수를 보인다.
• 표준 기준 설정에서도 BLEU는 단순성(S)과 구조적 단순성(StS)과 부정적 상관관계를 보이며, 각각 0.17(p=3×10⁻⁴) 및 0.17(p=3×10⁻⁴)의 상관계수를 보여, 인간 평가와의 낮은 일치도를 확인한다.
• 분할이 없는 경우 BLEU와 -LD SC 간의 상관계수는 0.86(BLEU-1ref, p=7×10⁻³)로 매우 높고, 분할이 있는 경우는 0.52(p=0.04)로 상당히 높아, BLEU가 단순히 보수성(원본 유사도)을 측정할 뿐 아니라 단순화 품질의 진정한 지표로 기능하지 않는다는 것을 시사한다.
• SARI는 단순성에 대해 약한 정적 상관관계(시스템 수준에서 0.26)를 보이며, 구조적 단순성과는 유의미한 상관관계가 없어, 구조적 변화에 대한 민감도가 낮음을 시사한다.
• iBLEU는 BLEU와 유사한 성능을 보이며, 약간 낮은 상관계수를 보여, 문제의 근본 원인이 BLEU의 변형에 국한되지 않고, 구조적 단순화 작업에 대한 메트릭 설계의 본질적 한계에 기인함을 확인한다.