[논문 리뷰] Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning

Hanlu Wu, Tengfei Ma외 3명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 인간 기반 참조 없이 언어적 품질과 의미적 품질을 평가하기 위해 대조 학습을 사용하는 참조 없는 비지도 요약 품질 평가 방법을 제안한다. 작업별로 설계된 음성 샘플을 구성하고, 순서 정렬 손실을 통해 BERT 기반 평가자 모델을 훈련시킴으로써 Newsroom과 CNN/Daily Mail에서 인간 평가와의 최고 성능 상관관계를 달성하였으며, 다양한 데이터셋 간에 강력한 일반화 능력을 보였다.

ABSTRACT

Evaluation of a document summarization system has been a critical factor to impact the success of the summarization task. Previous approaches, such as ROUGE, mainly consider the informativeness of the assessed summary and require human-generated references for each test summary. In this work, we propose to evaluate the summary qualities without reference summaries by unsupervised contrastive learning. Specifically, we design a new metric which covers both linguistic qualities and semantic informativeness based on BERT. To learn the metric, for each summary, we construct different types of negative samples with respect to different aspects of the summary qualities, and train our model with a ranking loss. Experiments on Newsroom and CNN/Daily Mail demonstrate that our new evaluation method outperforms other metrics even without reference summaries. Furthermore, we show that our method is general and transferable across datasets.

연구 동기 및 목표

• 인간이 작성한 기준 요약문에 의존하지 않는 자동화된 참조 없는 요약 평가 지표 개발
• 어휘 품질(예: 유창성, 문법)과 의미적 정보성(예: 관련성, 중복성)을 동시에 모델링하여 평가 향상
• 인간 평가나 기준 요약문이 없는 비지도 학습을 통해 요약 평가자 모델 훈련 가능
• 재학습 없이도 다양한 요약 데이터셋 간에 일반화 가능한 방법 보장

제안 방법

• 언어적 품질과 의미적 품질 양측을 기반으로 요약문을 평가하는 BERT 기반 평가자 설계
• 단어 교체, 문장 재배열, 문장 삭제 등의 방식으로 언어적 및 의미적 차원에서 요약문을 변형하여 다양한 유형의 음성 샘플 구성
• 원본 요약문과 음성 샘플 간 점수 차이를 최대화하는 순서 정렬 손실을 사용한 대조 학습 프레임워크를 통한 평가자 훈련
• 기준 요약문에 의존하지 않고 문서 수준의 BERT 임베딩을 의미적 감독의 근원으로 사용
• 고품질 요약문이 음성 샘플보다 양성 앵커에 더 가까워지도록, 대조 손실을 최적화하여 모델을 종합적으로 최적화
• 한 데이터셋에서 훈련하고 다른 데이터셋에서 테스트함으로써, 미세조정 없이도 데이터셋 간 전이 가능성을 확보

실험 결과

연구 질문

• RQ1 참조 없는 비지도 방법이 요약 평가에서 인간 평가와 높은 상관관계를 달성할 수 있는가?
• RQ2 인간이 작성한 평가나 기준 요약문이 없는 상황에서 대조 학습이 요약 평가자 모델을 효과적으로 훈련시킬 수 있는가?
• RQ3 언어적 품질과 의미적 정보성을 동시에 모델링하는 것이 오직 의미 유사성에 집중하는 방법보다 평가 성능을 향상시키는가?
• RQ4 재학습 없이도 훈련된 평가자 모델이 다양한 요약 데이터셋 간에 일반화 가능한가?

주요 결과

• 제안된 방법 LS_Score는 Newsroom(전반적 0.6563)과 CNN/Daily Mail(전반적 0.3342)에서 인간 평가와 가장 높은 슼머만 상관계수를 기록하며, ROUGE, BERTScore-R, MoverScore, BERT+Cos+Doc를 모두 능가했다.
• Newsroom에서 LS_Score는 정보성 평가에서 0.7163, 전반적 품질에서 0.6563의 상관계수를 기록했으며, BERTScore-R(0.2972 및 0.2787)보다 유의미하게 뛰어났다.
• CNN/Daily Mail에서 LS_Score는 유창성 평가에서 0.5933, 중복성 평가에서 0.2875의 상관계수를 기록했으며, BERT+Linear(0.4511 및 0.1664)과 BERTScore-R(0.2227 및 0.2780)를 모두 능가했다.
• 제거 실험 결과, 동일한 대조 학습 설정을 사용하더라도 제안된 평가자 기반의 대조 학습 프레임워크가 표준 BERT+Linear 기반 기준보다 우수한 성능을 보였다.
• 다양한 데이터셋 간 전이 실험 결과, LS_Score_cross는 강력한 성능을 유지했으며(예: Newsroom에서 0.6271, CNN/Daily Mail에서 0.2874), 이는 방법의 일반화 능력을 입증했다.
• CNN/Daily Mail에서 훈련된 모델이 Newsroom으로 전이되거나 그 반대의 경우에도 우수한 성능을 보이며, 데이터셋 간 강력한 전이 가능성과 안정성을 입증했다.