[논문 리뷰] On the Evaluation Metrics for Paraphrase Generation

Lingfeng Shen, Lemao Liu외 2명|arXiv (Cornell University)|2022. 02. 17.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

이 논문은 참조 기반 및 참조 비기반 구성 요소를 조합하여 의미적 유사성과 어휘적 다원성을 명시적으로 모델링하는 새로운 평가 지표인 ParaScore를 제안한다. 광범위한 실험을 통해 ParaScore는 인간 평가와의 일치도에서 기존 지표들을 뛰어넘으며, 특히 애매하게 간주되는 어휘적 다원성의 중요성을 해결함으로써 성능을 향상시킨다.

ABSTRACT

In this paper we revisit automatic metrics for paraphrase evaluation and obtain two findings that disobey conventional wisdom: (1) Reference-free metrics achieve better performance than their reference-based counterparts. (2) Most commonly used metrics do not align well with human annotation. Underlying reasons behind the above findings are explored through additional experiments and in-depth analyses. Based on the experiments and analyses, we propose ParaScore, a new evaluation metric for paraphrase generation. It possesses the merits of reference-based and reference-free metrics and explicitly models lexical divergence. Experimental results demonstrate that ParaScore significantly outperforms existing metrics.

연구 동기 및 목표

• 기존 자동 평가 지표의 신뢰성을 인간 애너테이션과 비교하여 재평가하는 것.
• 참조 기반 지표보다 참조 비기반 지표가 종종 성능이 뛰어나게 되는 이유를 탐구하는 것.
• 현재 지표의 한계, 특히 어휘적 다원성에 대한 인간 평가와의 낮은 일치도를 특정하는 것.
• 참조 기반 및 참조 비기반 지표의 장점을 통합한 새로운 평가 프레임워크인 ParaScore를 제안하는 것.
• 어휘적 다원성이 번역 품질에서 중요한 요소임을 자연스럽게 반영하는 보다 나은 벤치마크를 주장하는 것.

제안 방법

• 저자들은 영어용 Twitter-Para 및 중국어용 BQ-Para라는 두 개의 다국어 벤치마크에서 10개의 널리 사용되는 지표—참조 기반 및 참조 비기반—를 수집하고 평가한다.
• 의사결정 분석을 활용한 분리 프레임워크를 도입하여 의미적 유사성과 어휘적 다원성이 지표 점수에 기여하는 바를 분리하고 측정한다.
• ParaScore는 참조 기반 및 참조 비기반 구성 요소를 조합한 하이브리드 지표로, 섹션 함수를 사용해 어휘적 다원성(이하 DS)을 전용 모듈로 모델링한다.
• 지표는 의미적 유사성을 위해 BERT 기반 문장 임베딩을 활용하고, 입력에서 후보 문장으로의 어휘적 다원성을 포착하기 위해 자기주의 메커니즘을 통합한다.
• 초기화 파rameter는 10% 개발 세트에서 튜닝되며, 성능 평가는 각 벤치마크의 나머지 90%에서 수행된다.
• ParaScore의 유효성은 인간 애너테이션과의 상관 분석을 통해 검증되며, 기존 지표들보다 뚜렷한 향상을 보였다.

실험 결과

연구 질문

• RQ1 기존의 통념과는 반대로, 왜 참조 비기반 지표가 참조 기반 지표보다 번역 평가에서 뛰어나게 되는가?
• RQ2 기존 지표들이 인간 평가와 얼마나 일치하는가, 특히 어휘적 다원성을 캡처하는 데서 어느 정도의 성능을 보이는가?
• RQ3 BLEU 및 ROUGE와 같이 널리 사용되는 지표들이 번역 평가에서 떨어지는 주요 요인들은 무엇인가?
• RQ4 어떻게 하면 의미적 유사성과 어휘적 다원성을 모두 효과적으로 모델링할 수 있는 새로운 지표를 설계할 수 있는가?
• RQ5 어휘적 다원성은 인간 평가에서 어떤 역할을 하는가, 그리고 자동 지표에서 이를 더 잘 반영할 수 있는 방법은 무엇인가?

주요 결과

• 참조 비기반 지표가 영어 및 중국어 벤치마크 양쪽에서 참조 기반 지표를 뛰어넘는 것으로 나타나, NLP 평가에서 통상적인 기대와는 정반대의 결과를 보였다.
• BLEU 및 ROUGE를 포함한 대부분의 일반적으로 사용되는 지표들이 인간 애너테이션과의 상관관계가 약했으며, 특히 어휘적 다원성을 측정하는 데서 두드러진 낮은 성능을 보였다.
• BERTScore.Free와 같은 기존 지표는 경쟁력 있는 성능을 보였지만 여전히 어휘적 다원성을 충분히 모델링하지 못해 현재 평가 관행에 근본적인 한계가 있음을 시사했다.
• ParaScore는 두 벤치마크에서 모두 기준 지표들보다 인간 평가와 훨씬 더 높은 상관관계를 확보하여 인간 평가와의 뛰어난 일치도를 입증했다.
• 절단 실험을 통해 어휘적 다원성 점수(DS)와 그 섹션 함수가 ParaScore의 핵심 구성 요소임을 확인했으며, 이를 제거할 경우 성능 저하가 심각하게 발생했다.
• 분석 결과, 입력-후보 문장 간 거리와 기준-후보 문장 간 거리의 분포가 참조 기반 대비 참조 비기반 지표의 상대적 성능에 중대한 영향을 미친다는 것이 밝혀졌다.