[논문 리뷰] Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors

Liyan Tang, Tanya Goyal외 7명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 아홉 개의 기존 데이터셋으로부터 사실성 오류 주석을 통합한 통합 벤치마크인 AggreFact를 소개한다. 이는 요약 모델의 유형(FTSOTA, EXformer, Old)에 따라 계층화되어 있으며, 최신 요약 모델(FtSota)에서의 사실성 메트릭 성능이 이전 모델보다 유의미하게 열 劣한 것으로 드러나, 이는 이전 성능 평가의 타당성을 의심하게 하고, 신뢰할 수 있는 메트릭 평가를 위해 현재 모델과 오류 유형을 대상으로 평가할 것을 촉구한다.

ABSTRACT

The propensity of abstractive summarization models to make factual errors has been studied extensively, including design of metrics to detect factual errors and annotation of errors in current systems' outputs. However, the ever-evolving nature of summarization systems, metrics, and annotated benchmarks makes factuality evaluation a moving target, and drawing clear comparisons among metrics has become increasingly difficult. In this work, we aggregate factuality error annotations from nine existing datasets and stratify them according to the underlying summarization model. We compare performance of state-of-the-art factuality metrics, including recent ChatGPT-based metrics, on this stratified benchmark and show that their performance varies significantly across different types of summarization models. Critically, our analysis shows that much of the recent improvement in the factuality detection space has been on summaries from older (pre-Transformer) models instead of more relevant recent summarization models. We further perform a finer-grained analysis per error-type and find similar performance variance across error types for different factuality metrics. Our results show that no one metric is superior in all settings or for all error types, and we provide recommendations for best practices given these insights.

연구 동기 및 목표

• 요약 생성에서 사실성 오류 탐지 평가를 위한 일관되고 최신 기준의 벤치마크 부족 문제를 해결하기 위해.
• 이전의 사실성 메트릭 평가가 오래된 모델과 데이터셋에 의존함으로써 오해의 소지가 있는 이유를 규명하기 위해.
• 더 세밀한 분석을 가능하게 하기 위해 기반 요약 모델과 오류 유형에 따라 오류를 분류한 계층화된 벤치마크를 제공하기 위해.
• 다양한 모델과 오류 유형에서의 메트릭 성능을 평가함으로써, 사실성 메트릭 선택 및 개발의 최선의 실천 방안을 안내하기 위해.
• 특히 LLM 기반 요약 생성 결과를 포함하여 새로운 요약 모델의 발전에 따라 진화하는 지속 가능한, 영속적인 벤치마크의 필요성을 주장하기 위해.

제안 방법

• 아홉 개의 기존 데이터셋에서 사실성 오류 주석을 통합하여, 요약 모델 유형(FtSota, EXformer, Old)에 따라 일관된 계층화가 이루어진 단일 벤치마크인 AggreFact를 구축하였다.
• 기반 요약 모델의 개발 시점에 따라 벤치마크를 계층화하여, 모델 시대 간 성능 차이를 분리하고 분석하였다.
• 여러 데이터셋의 세밀한 오류 주석을 통합하여 공통된 분류 체계로 정리함으로써, 다양한 데이터셋 간 오류 유형 비교를 가능하게 하였다.
• AggreFact 벤치마크에서 아홉 개의 최신 사실성 메트릭(최근 LLM 기반 메트릭 포함)을 평가하여, 다양한 모델과 오류 유형 간 성능 변동성을 분석하였다.
• 내재적/외재적, 개체명, 사건, 명사구 수준의 환각 오류 등 특정 오류 유형에 대한 메트릭 능력을 비교하기 위해 세부적인 오류 유형 수준의 분석을 수행하였다.
• 실험 결과를 바탕으로 메트릭 선택 및 벤치마크 운영의 최선의 실천 방안을 제안하였다.

실험 결과

연구 질문

• RQ1 사실성 메트릭은 현대적(FTSOTA) 요약 모델과 이전 모델(Old) 간에 일관되게 성능을 보여주는가?
• RQ2 최근 사실성 메트릭의 향상 수준 중 얼마나 많은 부분이 최신 기술 수준의 시스템이 아닌 오래된 모델에서 발생한 오류 탐지에 기인하는가?
• RQ3 CNN/DM 및 XSum 등의 데이터셋에서, 다양한 사실성 메트릭이 특정 오류 유형(예: 내재적 vs. 외재적 환각)을 어떻게 탐지하는가를 비교해보면 어떻게 되는가?
• RQ4 단일 사실성 메트릭이 다양한 요약 모델과 데이터셋에서 모든 종류의 사실성 오류를 신뢰성 있게 탐지할 수 있는가?
• RQ5 모델과 오류 유형 간 성능 변동성에 비추어 볼 때, 사실성 메트릭 평가 및 선택의 최선의 실천 방안은 무엇인가?

주요 결과

• 사실성 메트릭의 성능은 최신 기술 수준의 요약 모델(FtSota)에서 생성된 요약에 대해 이전 모델보다 유의미하게 떨어지는 것으로 나타나, 최근 메트릭 향상 성과가 실제로 현재 시스템에 적용 가능한지 의문을 제기한다.
• 대부분의 사실성 메트릭 향상 성과는 벤치마크의 'Old' 및 'EXformer' 하위셋에서 달성되었으며, 더 관련성이 높은 FtSota 모델에서는 그렇지 않아, 이전 벤치마크 평가 방식의 타당성을 의심하게 한다.
• 모델 유형이나 오류 유형에 관계없이 어떤 단일 사실성 메트릭도 항상 다른 메트릭을 앞서는 것은 아니며, 이는 맥락 인식 기반의 메트릭 선택이 필요함을 시사한다.
• SOTA 성능을 주장하는 메트릭들 역시 CNN/DM 및 XSum 등의 데이터셋에서 특정 오류 유형을 동일하게 잘 탐지하지 못함을 보여주며, 여전히 커버리지 격차가 존재함을 드러낸다.
• 오류 유형의 분포가 데이터셋 간, 그리고 같은 요약 모델에 대해서도 시간이 지남에 따라 크게 달라져, 다양한 데이터셋 간 비교가 복잡해진다.
• LLM 기반 요약 생성 결과를 포함하고 새로운 모델 능력을 반영할 수 있도록 정기적으로 업데이트되는, 업데이트된 영속적 벤치마크의 필요성이 절실하다.