[논문 리뷰] Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries

Daniel Deutsch, Dan Roth|arXiv (Cornell University)|2020. 10. 23.

Topic Modeling참고 문헌 23인용 수 6

한 줄 요약

이 논문은 ROUGE 및 BERTScore와 같이 널리 사용되는 요약 평가 지표들이 요약 간 정보 겹침을 신뢰성 있게 측정하지 못하고, 오히려 주제 유사도를 주로 반영한다는 것을 입증한다. 저자들은 정보 튜플을 정렬한 기반의 새로운 해석 가능한 방법을 제안하여 요약 간 내용 겹침을 직접 측정한다. 이는 기존 평가 지표가 놓치는 모델 행동의 통찰을 드러낸다.

ABSTRACT

Reference-based metrics such as ROUGE or BERTScore evaluate the content quality of a summary by comparing the summary to a reference. Ideally, this comparison should measure the summary's information quality by calculating how much information the summaries have in common. In this work, we analyze the token alignments used by ROUGE and BERTScore to compare summaries and argue that their scores largely cannot be interpreted as measuring information overlap, but rather the extent to which they discuss the same topics. Further, we provide evidence that this result holds true for many other summarization evaluation metrics. The consequence of this result is that it means the summarization community has not yet found a reliable automatic metric that aligns with its research goal, to generate summaries with high-quality information. Then, we propose a simple and interpretable method of evaluating summaries which does directly measure information overlap and demonstrate how it can be used to gain insights into model behavior that could not be provided by other methods alone.

연구 동기 및 목표

• 참고 기반 요약 평가 지표인 ROUGE 및 BERTScore가 실제로 정보 겹침을 측정하는지, 아니면 주제 유사도를 반영하기만 하는지 조사하기.
• 다양한 지표들 간에 요약의 고급 품질 생성이라는 연구 목표와의 괴리가 체계적으로 발생하는지 평가하기.
• 요약 간 정보 겹침을 직접 측정하는 새로운 해석 가능한 평가 방법을 개발하고 검증하기.
• 최신 모델이 베이스라인 모델보다 더 높은 내용 품질을 내는 것으로 나타나는 바를, ROUGE나 BERTScore만으로는 도출할 수 없었던 결론을 제시하기.

제안 방법

• ROUGE 및 BERTScore를 토큰 수준의 정렬 기반 지표로 간주하고, 정렬 기반의 통합 프레임워크를 제안하여 유사도를 계산한다.
• 도메인 전문가가 수작업으로 분류한 정보 카테고리들을 활용하여, 어떤 토큰 정렬이 동일한 정보를 나타내는지 식별함으로써 정렬 품질을 평가한다.
• 요약에서 추출한 (주어, 서술어, 목적어) 삼중조로 구성된 공통 정보 튜플의 수를 세는 방식의 새로운 평가 방법을 도입한다.
• TAC 및 CNN/DailyMail 데이터셋에서 요약 모델 간 비교에 신규 방법을 적용하고, ROUGE 및 BERTScore와의 결과를 대조한다.
• 정보 겹침 측정의 황금 표준 기준으로 피라미드 방법을 사용하여 새로운 방법의 타당성을 검증하고, 기존 지표와의 비교를 수행한다.
• 지표와 인간 평가자의 반응성 판단 간 상관관계를 분석하여 지표 설계의 실용적 영향을 평가한다.

실험 결과

연구 질문

• RQ1 ROUGE 및 BERTScore가 요약 간 실제 정보 겹침을 측정하는 정도는 어느 정도이며, 주제 유사도를 반영하는가?
• RQ2 BERTScore 및 ROUGE 변종과 같은 다른 참고 기반 평가 지표들도 정보 겹침을 신뢰성 있게 측정하지 못하는가?
• RQ3 정렬된 정보 튜플 기반의 새로운 평가 방법이 기존 지표들이 드러내지 못하는 모델 행동의 통찰을 제공할 수 있는가?
• RQ4 기존 지표들이 황금 표준 정보 겹침과의 상관관계와 인간의 반응성 판단과의 상관관계를 비교해보면 어떠한가?
• RQ5 제안된 정보 튜플 기반 방법이 최신 모델과 베이스라인 요약 모델 간의 내용 품질 차이를 의미 있게 드러내는가?

주요 결과

• 도메인 전문가의 평가에 따르면, ROUGE 및 BERTScore의 토큰 정렬 중 실제로 동일한 정보를 반영하는 비율은 매우 작다. 이는 정보 겹침과의 정렬이 열악하다는 것을 시사한다.
• 공통 정보를 나타내는 토큰 정렬은 주제 유사도를 반영하는 정렬에 비해 훨씬 적게 나타나며, 이는 이러한 지표들이 내용보다 주제를 우선시한다는 것을 확인한다.
• ROUGE, BERTScore 및 기타 10개의 평가 지표 전부가 피라미드 방법과 유사한 수준의 상관관계를 보이며, 정보 겹침 측정 향상에 있어 유의미한 개선이 없다는 것을 확인한다.
• 제안된 정보 튜플 기반 방법은 최신 모델이 베이스라인 모델보다 더 높은 내용 품질의 요약을 생성한다는 점을 성공적으로 규명하였으며, 이는 ROUGE나 BERTScore만으로는 감지할 수 없는 차이점이다.
• 주제 기반 비교 방식, 예를 들어 NP 퍼스트 쿼터 회수를 사용할 경우, ROUGE와 거의 동일한 상관관계를 인간의 반응성 판단과 보이며, 주제 유사도가 평가의 강력한 기준이 될 수 있음을 시사한다.
• 결과적으로 요약 분야에서 정보 품질 평가 목표에 부합하는 신뢰할 수 있는 자동 지표가 부족하며, 현재의 지표들이 연구 진전을 오해하게 만들 수 있다는 시사점을 제시한다.