[논문 리뷰] Rethinking Automatic Evaluation in Sentence Simplification
이 논문은 문장 단순화를 위한 QuestEval의 BERTScore 기반 개선 버전을 제안하며, 시스템에서 생성한 단순화 결과에 대해 BERTScore와 QuestEval이 인간 평가와 높은 상관관계를 보이지만, 이 상관관계는 주로 다차원 간 상호의존성으로 인해 허구적임을 입증한다. 인간이 작성한 단순화 결과에서는 오직 QuestEval만 의미 유지성과 유의미한 상관관계를 보이며, 이는 대부분의 평가 지표가 단순화와 의미 유지성을 독립적으로 신뢰성 있게 평가하지 못함을 드러낸다.
Automatic evaluation remains an open research question in Natural Language Generation. In the context of Sentence Simplification, this is particularly challenging: the task requires by nature to replace complex words with simpler ones that shares the same meaning. This limits the effectiveness of n-gram based metrics like BLEU. Going hand in hand with the recent advances in NLG, new metrics have been proposed, such as BERTScore for Machine Translation. In summarization, the QuestEval metric proposes to automatically compare two texts by questioning them. In this paper, we first propose a simple modification of QuestEval allowing it to tackle Sentence Simplification. We then extensively evaluate the correlations w.r.t. human judgement for several metrics including the recent BERTScore and QuestEval, and show that the latter obtain state-of-the-art correlations, outperforming standard metrics like BLEU and SARI. More importantly, we also show that a large part of the correlations are actually spurious for all the metrics. To investigate this phenomenon further, we release a new corpus of evaluated simplifications, this time not generated by systems but instead, written by humans. This allows us to remove the spurious correlations and draw very different conclusions from the original ones, resulting in a better understanding of these metrics. In particular, we raise concerns about very low correlations for most of traditional metrics. Our results show that the only significant measure of the Meaning Preservation is our adaptation of QuestEval.
연구 동기 및 목표
- 전통적인 자동 평가 지표인 BLEU와 SARI가 문장 단순화에서 인간 평가와 낮은 상관관계를 보이는 한계를 해결하기 위해.
- 최근 개선된 지표인 BERTScore와 QuestEval이 문법성이나 어휘적 단순화를 고려하지 않음에도도 시스템에서 생성한 단순화 결과에 대해 인간 평가와 높은 상관관계를 보이는 이유를 규명하기 위해.
- 유창성, 단순성, 의미 유지성 간 상호의존성으로 인한 허구적 상관관계를 특정하고 이를 완화하기 위해.
- 인간이 평가한 단순화 결과를 포함한 새로운 코퍼스(Human-Likert)를 공개하여 인간 수준의 출력 결과에 대한 평가 지표의 신뢰성을 높이기 위해.
- 시스템에서 생성한 단순화 결과와 인간이 작성한 단순화 결과에 대한 평가 지표 성능을 비교함으로써 현재 평가 관행의 근본적 결함을 드러내고 자동 평가 지표의 타당성을 재평가하기 위해.
제안 방법
- 원본 QuestEval 지표를 개선하여 정확한 일치 유사도 대신 BERTScore를 사용함으로써 의미 유사도, 특히 동의어 처리를 가능하게 하였다.
- BERT 임베딩을 활용해 기준 텍스트와 가설 텍스트 간 토큰 수준의 유사도를 계산함으로써, 다소의 어휘 변형이나 어색한 표현에도 강건한 평가가 가능하도록 하였다.
- 유창성, 단순성, 의미 유지성에 대한 점수를 포함한 1,000건의 인간이 작성한 단순화 결과를 포함한 새로운 인간 평가 코퍼스(Human-Likert)를 수집하였다.
- 시스템에서 생성한(Sys-likert) 및 인간이 작성한(Human-Likert) 단순화 결과에 대해 자동 평가 지표와 인간 평가 간 피어슨 상관계수를 계산하였다.
- 평가 차원 간 상호의존성에 의해 유도된 허구적 상관관계를 분리하기 위해 부분 상관관계 분석을 수행하였다.
- BLEU, SARI, FKGL, BERTScore, 개선된 QuestEval이 두 코퍼스 모두에서 성능을 비교하여 진정한 의미적 품질과 단순화 품질을 반영하는 지표를 식별하였다.
실험 결과
연구 질문
- RQ1BERTScore와 QuestEval가 문법성이나 어휘적 단순화를 고려하지 않음에도 불구하고, 시스템에서 생성한 단순화 결과에 대해 인간 평가와 높은 상관관계를 보이는 이유는 무엇인가?
- RQ2유창성, 단순성, 의미 유지성 간 상호의존성으로 인해 발생하는 자동 평가 지표와 인간 평가 간의 관측된 상관관계가 어느 정도 허구적인가?
- RQ3유창성과 인간 수준의 품질에 가까운 인간이 작성한 단순화 결과에 대해 자동 평가 지표의 상관관계는 어떻게 변화하는가?
- RQ4특히 골드 레퍼런스가 없는 상황에서 의미 유지성과 단순성을 신뢰성 있게 측정할 수 있는 지표는 무엇인가?
- RQ5개선된 QuestEval 지표는 문장 단순화 시스템 평가를 위한 강건한, 레퍼런스가 없는 대안이 될 수 있는가?
주요 결과
- 시스템에서 생성한 단순화 결과에서 BERTScore와 QuestEval가 인간 평가와 가장 높은 상관관계를 보였으며, BERTScore는 유창성과 단순성(r ≈ 40)에서 높은 성능을 보였고, QuestEval는 의미 유지성에서 뛰어난 성능을 보였다.
- 인간이 작성한 단순화 결과에서 오직 FKGL만 단순성과 유의미한 상관관계를 보였으며(r = 34.7), 오직 QuestEval만 의미 유지성과 상관관계를 보였고(r = 34.7), BERTScore는 유의미한 상관관계를 보이지 않았다.
- 시스템에서 생성한 데이터에서 관측된 높은 상관관계는 주로 유창성, 단순성, 의미 유지성 간 강한 상관관계로 인한 것이며, 대부분 허구적이다.
- 인간이 작성한 데이터에서 QuestEval와 단순성 간의 반대 상관관계는 이 지표가 더 단순한 텍스트에 편향되어 있지 않음을 확인하며, 사실적 내용에 집중하고 있음을 뒷받침한다.
- 전통적 지표인 BLEU와 SARI는 인간이 작성한 단순화 결과에서 어떤 차원과도 유의미한 상관관계를 보이지 않아, 고품질 출력 결과 평가에 실패하고 있음을 시사한다.
- 본 연구는 현재 자동 평가 관행이 혼동된 상관관계로 인해 근본적으로 결함이 있으며, 인간 평가가 내재된 고품질 데이터를 기반으로 평가 지표를 재평가할 것을 촉구한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.