[논문 리뷰] Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency

Xiao Wen, Giuseppe Carenini|arXiv (Cornell University)|2022. 09. 07.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 사전 훈련된 시퀀스 톱시퀀스 모델에 원활하게 통합될 수 있는 엔티티 기반 SpanCopy 메커니즘을 제안하여 개괄적 요약에서 사실 일관성을 향상시킨다. 이 방법은 원본 문서에서 요약에 적합한 엔티티를 직접 복사할 수 있도록 하여, PEGASUS 대비 평균 +2.28의 엔티티 수준 사실 일관성 향상을 달성하면서도, 중요도 지표에 거의 영향을 주지 않는다.

ABSTRACT

Despite the success of recent abstractive summarizers on automatic evaluation metrics, the generated summaries still present factual inconsistencies with the source document. In this paper, we focus on entity-level factual inconsistency, i.e. reducing the mismatched entities between the generated summaries and the source documents. We therefore propose a novel entity-based SpanCopy mechanism, and explore its extension with a Global Relevance component. Experiment results on four summarization datasets show that SpanCopy can effectively improve the entity-level factual consistency with essentially no change in the word-level and entity-level saliency. The code is available at https://github.com/Wendy-Xiao/Entity-based-SpanCopy

연구 동기 및 목표

• 모델이 원본 문서에 존재하지 않는 엔티티를 생성하는 엔티티 수준 사실 일관성 문제를 해결하기 위해.
• 단어 수준 또는 엔티티 수준 중요도를 떨어뜨리지 않고 사실 일관성을 향상시키기 위해.
• 기존 사전 훈련된 생성 모델에 쉽게 통합할 수 있는 경량이고 모듈러한 솔루션을 개발하기 위해.
• 생성 전에 요약에 적합한 엔티티를 식별하기 위한 글로벌 유의성(Goal Relevance) 구성요소의 효과를 탐색하기 위해.

제안 방법

• 요약 생성 중에 원본 문서의 스파니즘(특히 명사어 엔티티)을 직접 복사할 수 있도록 하는 SpanCopy 메커니즘을 도입한다.
• Transformer 기반의 시퀀스 톱시퀀스 모델에 차별 가능하고 어텐션 증강된 생성 모듈로 SpanCopy를 통합한다.
• 원본 엔티티에 대한 사전 분포를 계산하여 요약에 포함시키기에 가장 관련성이 높은 엔티티를 식별하는 글로벌 유의성(GR) 구성요소를 설계한다.
• 어텐션 메커니즘을 사용하여 생성된 토큰과 원본 스팬을 정렬함으로써, 원본 콘텐츠와 일치하는 엔티티만 선택적으로 복사할 수 있도록 한다.
• 표준 목표로 종합적으로 훈련하며, SpanCopy는 생성된 토큰과 원본 스팬 간에 고정밀도 일치가 발견되었을 때에만 활성화된다.
• GR 구성요소를 사용하여 엔티티 유의성 점수를 재가중하여, 중요도와 사실 기반 모두를 충족하는 엔티티를 우선적으로 고려하도록 모델을 이끌어낸다.

실험 결과

연구 질문

• RQ1 직접적인 스팬 복사 메커니즘이 중요도를 떨어뜨리지 않고 엔티티 수준 사실 일관성을 향상시킬 수 있는가?
• RQ2 PEGASUS와 같은 강력한 기준 모델 대비 SpanCopy 메커니즘이 환각된 엔티티를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 글로벌 유의성 구성요소의 추가로 사실 일관성이 더욱 향상되고 중요도가 유지되는가?
• RQ4 모든 기준 엔티티가 원본에 존재하는 필터링된 서브셋이 아닌 실제 완전한 데이터셋에서 이 방법의 성능은 어떠한가?
• RQ5 엔티티 수준 환각을 줄이면서도 강력한 생성 품질을 유지할 수 있는가?

주요 결과

• SpanCopy는 네 개의 데이터셋에서 PEGASUS 대비 평균 +2.28 ROUGE-L F1 포인트의 엔티티 수준 사실 일관성 향상을 달성했으며, 중요도에 유의미한 하락이 없었다.
• 모든 기준 엔티티가 원본에 존재하는 필터링된 데이터셋에서 SpanCopy에 GR을 적용한 경우, PEGASUS보다 사실 일관성 및 중요도 지표 양면에서 모두 우수한 성능을 보였다.
• SpanCopy 메커니즘 자체만으로도 원본 테스트 세트에서 사실 일관성에 평균 +2.13의 향상을 기록했으며, ROUGE-L F1는 평균 -0.06의 하락만을 보였다.
• 원본 데이터셋에서는 글로벌 유의성 구성요소가 사실 일관성을 향상시키지 못했으며, 이는 비중요한 엔티티를 과도하게 우선시하기 때문일 가능성이 높다. 다만, 필터링된 서브셋에서는 도움이 되었다.
• 정성적 분석을 통해 CNNDM 데이터셋에서 'Ivan Watson'과 같은 환각된 엔티티가 SpanCopy에 의해 완전히 제거되었으며, 원본 콘텐츠와의 사실 일관성이 유지됨을 확인했다.
• 특히 XSum와 같이 매우 개괄적인 요약이 요구되는 데이터셋에서 이 방법은 원본 데이터에서의 사실 일관성 향상 폭이 필터링된 데이터보다 크게 높게 나타났다.