[논문 리뷰] How to Find Strong Summary Coherence Measures? A Toolbox and a Comparative Study for Summary Coherence Measure Evaluation

Julius Steen, Katja Markert|arXiv (Cornell University)|2022. 09. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 요약 일관성 측정법(CMs)을 위한 종합적인 도구상자와 대규모 평가 프레임워크를 소개하며, 시스템 수준의 혼동 요인과 모델 편향을 탐지하기 위해 내부 시스템 상관관계 및 편향 행렬을 제안한다. 키워드로는 대규모 언어 모델(LLMs)이 섞기 작업에 대해 미세조정된 경우 뛰어난 성능을 보이지만, 대부분의 기존 CMs는 더 엄격한 평가 조건에서 성능이 저하되며, 특히 다양한 요약 길이와 내용으로의 일반화가 어려운 점을 확인하여, 이중 비교 기반 학습이 이중 순위 매기기보다 더 나은 성능을 낼 수 있음을 시사한다.

ABSTRACT

Automatically evaluating the coherence of summaries is of great significance both to enable cost-efficient summarizer evaluation and as a tool for improving coherence by selecting high-scoring candidate summaries. While many different approaches have been suggested to model summary coherence, they are often evaluated using disparate datasets and metrics. This makes it difficult to understand their relative performance and identify ways forward towards better summary coherence modelling. In this work, we conduct a large-scale investigation of various methods for summary coherence modelling on an even playing field. Additionally, we introduce two novel analysis measures, intra-system correlation and bias matrices, that help identify biases in coherence measures and provide robustness against system-level confounders. While none of the currently available automatic coherence measures are able to assign reliable coherence scores to system summaries across all evaluation metrics, large-scale language models fine-tuned on self-supervised tasks show promising results, as long as fine-tuning takes into account that they need to generalize across different summary lengths.

연구 동기 및 목표

• 요약 일관성 측정법(CMs)에 대한 표준화된 평가 부족 문제를 해결하기 위해, 다양한 데이터셋과 평가 지표를 사용하는 경우 성능 비교가 신뢰할 수 없게 되는 문제를 해결한다.
• 요약 생성자 간 성능 격차를 악용하는 시스템 수준의 혼동 요인을 식별하고 제거함으로써 진정된 일관성 모델링이 아닌, 일관성 측정법의 시스템 수준의 편향을 해결한다.
• 내부 시스템 상관관계 및 편향 행렬과 같은 새로운 평가 지표를 도입하여, 더 강건한 평가와 모델 편향 탐지 능력을 향상시킨다.
• 다양한 요약 길이와 내용에 걸쳐 일관되고 엄격한 조건에서 최근의 SummEval 데이터셋을 기반으로 다양한 CMs를 평가하여 일반화 능력과 성능을 평가한다.
• 현재 접근 방식의 한계를 규명하고 향후 연구를 안내하기 위해, 특히 자기지도 학습 및 모델 아키텍처 개선 방향을 제안한다.

제안 방법

• 동일한 요약 생성자에 의해 생성된 요약 내에서 일관성 점수의 일관성 수준을 측정하는 새로운 평가 지표인 내부 시스템 상관관계를 제안하여, 시스템 수준의 혼동 요인에 대한 취약성을 줄인다.
• 특정 요약 생성자나 모델 유형을 향한 체계적 편향을 비주얼라이제이션하고 탐지하기 위한 진단 도구로 편향 행렬을 도입한다.
• 시스템 수준 상관관계, 이중 비교 순위 매기기, 내부 시스템 상관관계를 포함한 다양한 평가 환경에서 14개의 CMs를 대규모로 비교 분석한다.
• 이중 비교 순위 매기기 손실 함수와 대비하여 이진 분류 목표(CCL)를 사용해 문장 섞기 작업에 대해 대규모 언어 모델(LLMs)을 미세조정한다.
• 다양한 길이와 내용을 가진 문서에 대해 수정된 섞기 테스트를 적용하여 실제 요약 생성 환경의 다양성을 시뮬레이션하고, CMs의 성능을 평가한다.
• 엔티티 간 겹침을 정량화하기 위해 브라운 일관성 툴킷을 적용하여, 엔티티 기반 일관성 모델링의 실현 가능성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 기존의 요약 일관성 측정법은 다양한 요약 생성자 출력 간 일관성 평가를 신뢰성 있게 수행할 수 있는가, 아니면 시스템 수준의 혼동 요인을 악용하는가?
• RQ2 시스템 수준 상관관계, 이중 비교 순위 매기기, 내부 시스템 상관관계와 같은 다양한 평가 지표는 CMs의 진정된 일관성 모델링 능력을 얼마나 잘 드러내는가?
• RQ3 일관성 측정법이 특정 요약 생성자에게 얼마나 편향되어 있는가, 그리고 편향 행렬이 이러한 편향을 효과적으로 탐지할 수 있는가?
• RQ4 왜 섞기 작업에서 뛰어난 성능을 보이는 CMs가 요약 길이가 다양할 경우 실제 요약 데이터셋인 SummEval에서는 실패하는가?
• RQ5 전역 분류 목표(예: CCL)를 사용해 일관성 모델을 학습하면, 이중 비교 순위 매기기 대비 다양한 요약 길이와 내용에 걸쳐 일반화 능력이 향상되는가?

주요 결과

• 평가된 일관성 측정법 중 어느 것도 모든 평가 지표에서 신뢰할 수 있는 성능을 보이지 않으며, 특히 내부 시스템 상관관계에서의 성능 저하로 인해 일반화 능력에 심각한 한계가 있음을 시사한다.
• 최고 성능을 내는 CMs조차도 편향 행렬을 통해 특정 요약 생성자에게 강한 편향을 보이며, 이는 그들의 신뢰성과 공정성에 대한 우려를 제기한다.
• 엔티티 기반 일관성 모델들(예: EEG, EGR, NEG)은 CNN/DM 및 SummEval 요약에서 어휘적 엔티티 겹침이 극히 적어 성능이 열악하여 적용 가능성이 제한된다.
• 이중 비교 순위 매기기 손실 함수로 학습된 모델들(예: UNF, GRA)은 요약 길이가 다른 경우 일반화에 실패하지만, 분류 목표를 가진 CCL 모델은 길이 변화에 관계없이 안정적인 성능 유지를 보인다.
• 특히 이진 분류기로 학습된 섞기 작업에 대해 미세조정된 대규모 언어 모델이 가장 유망한 성능을 보이며, 향후 일관성 모델링을 위한 유망한 길을 제시한다.
• 본 연구는 시스템 수준 상관관계가 일관성 모델 평가에 부적절하다는 점을 입증하며, 이는 혼동 요인에 취약하고 진정된 일관성 이해를 반영하지 못하기 때문이다.