[논문 리뷰] FFCI: A Framework for Interpretable Automatic Evaluation of Summarization

Fajri Koto, Timothy Baldwin외 1명|arXiv (Cornell University)|2020. 11. 27.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 사실성, 집중도, 커버리지, 문간 유창성의 네 가지 차원을 통합한 해석 가능한 개괄적 요약 자동 평가를 위한 새로운 프레임워크 FFCI를 제안한다. 새로운 주석이付け된 데이터셋을 제작하고 19개의 사전 훈련된 언어 모델을 평가하여, 사실성 평가에서 모델 기반 메트릭이 질문-응답 접근 방식을 능가하며, ROUGE가 포착하지 못한 모델 성능의 이질성을 드러낸다.

ABSTRACT

In this paper, we propose FFCI, a framework for fine-grained summarization evaluation that comprises four elements: faithfulness (degree of factual consistency with the source), focus (precision of summary content relative to the reference), coverage (recall of summary content relative to the reference), and inter-sentential coherence (document fluency between adjacent sentences). We construct a novel dataset for focus, coverage, and inter-sentential coherence, and develop automatic methods for evaluating each of the four dimensions of FFCI based on cross-comparison of evaluation metrics and model-based evaluation methods, including question answering (QA) approaches, semantic textual similarity (STS), next-sentence prediction (NSP), and scores derived from 19 pre-trained language models. We then apply the developed metrics in evaluating a broad range of summarization models across two datasets, with some surprising findings.

연구 동기 및 목표

• ROUGE를 초월하여 신뢰할 수 있는 자동 평가 방법의 부족을 해결하기 위해.
• 사실 일관성, 콘텐츠 정밀도, 재현도, 논의 유창성의 세부 평가 프레임워크를 개발하기 위해.
• 재현 가능한 평가를 지원하기 위해 집중도, 커버리지, 문간 유창성에 대한 새로운 주석이付け진 데이터셋을 공개하기 위해.
• 다양한 차원에서 전통적 메트릭(ROUGE, BLEU, METEOR)을 모델 기반 메트릭(BERTScore, FactCC, 19개의 PLM)과 비교하여 벤치마킹하기 위해.
• CNN/DailyMail 및 XSUM에서의 실증적 평가를 통해 ROUGE와 같은 표준 메트릭이 간과하는 모델 성능의 이질성을 드러내기 위해.

제안 방법

• FFCI는 사실성(원본과의 사실 일관성), 집중도(기준 요약 대비 콘텐츠 정밀도), 커버리지(기준 요약의 중요한 내용 재현도), 문간 유창성(문장 간 논의 유창성)의 네 가지 차원에서 요약을 평가한다.
• 사실성 평가에 있어서 저자들은 계산 비용이 큰 질문-응답 파이프라인 대신 19개의 사전 훈련된 언어 모델에서 유도한 문장 수준의 의미 유사도 점수를 사용한다.
• 집중도와 커버리지는 요약과 기준 간의 의미적 동치성을 활용하여, 사전 훈련된 모델 임베딩을 이용해 문장 수준에서 정밀도와 재현도를 측정한다.
• 문간 유창성 평가는 수정된 다음 문장 예측(NSP) 작업을 통해 평가되며, 모델이 요약 내에서 한 문장이 다른 문장 뒤에 올 수 있는지 예측한다.
• 메트릭 간 상호 비교와 모델 기반 평가(의미적 텍스트 유사도(STS), 질문-응답(QA), FactCC)를 결합한 프레임워크를 구성한다.
• 집중도, 커버리지, 문간 유창성에 대한 신뢰할 수 있는 평가를 가능하게 하기 위해 1,000개 샘플로 구성된 새로운 주석이付け진 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 다양한 자동 메트릭이 사실성 평가에서 어떻게 작동하는가? 그리고 사전 훈련된 언어 모델 점수는 비용이 큰 질문-응답 파이프라인을 대체할 수 있는가?
• RQ2 ROUGE와 같은 전통적 메트릭이 집중도, 커버리지, 유창성에 대한 인간 평가와 얼마나 관련이 있는가?
• RQ3 다양한 요약 모델에서 사실성, 집중도, 커버리지를 평가하는 데 가장 신뢰할 수 있는 점수를 제공하는 사전 훈련된 언어 모델은 무엇인가?
• RQ4 다음 문장 예측이 요약의 문간 유창성을 효과적으로 평가하는 데 적합하게 변형될 수 있는가?
• RQ5 ROUGE를 초월하는 다차원 평가에서 모델 행동에 대한 통찰은 무엇인가?

주요 결과

• 사실성 평가에서 가장 높은 성능을 보인 사전 훈련된 언어 모델은 RoBERTa-large로, CNNDM-PG 작업에서 레이어-10를 사용할 경우 평균 점수 0.698을 기록했다.
• 집중도와 커버리지 평가에서 RoBERTa-base와 RoBERTa-large는 각각 CNNDM-PG 작업에서 평균 점수 0.698과 0.707을 기록하여 최고 성능을 보였다.
• NSP 기반의 유창성 메트릭은 인간 평가와 강한 상관관계를 보였으며, Electra-base-discriminator는 평균 NSP 점수 0.305와 최대 0.311를 기록했다.
• BERTScore와 FactCC와 같은 모델 기반 메트릭은 특히 자원이 제한된 환경에서 질문-응답 기반 방법보다 더 높은 신뢰성을 보였다.
• FFCI로 모델을 재평가한 결과 놀라운 발견이 있었는데, 높은 ROUGE 점수를 기록한 모델가 반드시 모든 FFCI 차원에서 뛰어난 성능을 보이진 않았다. 이는 ROUGE가 요약의 핵심 품질을 충분히 반영하지 못함을 시사한다.
• 연구 결과, GPT-2 모델은 강력한 ROUGE 점수를 기록했지만, 유창성과 커버리지에서 낮은 점수를 받았으며, 이는 ROUGE가 구조적 및 사실적 문제를 탐지하지 못함을 드러낸다.