[논문 리뷰] CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization

Wei Liu, Huanqin Wu외 4명|arXiv (Cornell University)|2021. 12. 02.

Topic Modeling참고 문헌 29인용 수 9

한 줄 요약

CO2Sum는 추가 파rameter 없이 인코딩 및 디코딩 단계에서 대조 학습을 적용함으로써 사실 일관성을 향상시키는 대조 학습 프레임워크를 제안한다. 사실 부정 샘플을 생성하기 위해 언어 모델 기반 방법을 도입하여 공개 벤치마크에서 사실 일관성 메트릭에서 최신 기술 성능을 달성하며, FASUM 및 CCGS와 같은 강력한 베이스라인을 능가한다.

ABSTRACT

Generating factual-consistent summaries is a challenging task for abstractive summarization. Previous works mainly encode factual information or perform post-correct/rank after decoding. In this paper, we provide a factual-consistent solution from the perspective of contrastive learning, which is a natural extension of previous works. We propose CO2Sum (Contrastive for Consistency), a contrastive learning scheme that can be easily applied on sequence-to-sequence models for factual-consistent abstractive summarization, proving that the model can be fact-aware without modifying the architecture. CO2Sum applies contrastive learning on the encoder, which can help the model be aware of the factual information contained in the input article, or performs contrastive learning on the decoder, which makes the model to generate factual-correct output summary. What's more, these two schemes are orthogonal and can be combined to further improve faithfulness. Comprehensive experiments on public benchmarks demonstrate that CO2Sum improves the faithfulness on large pre-trained language models and reaches competitive results compared to other strong factual-consistent summarization baselines.

연구 동기 및 목표

• 대규모 언어 모델이 유창하지만 사실적으로 잘못된 요약을 생성하는 요약의 사실 일관성 문제를 해결하기 위해.
• 모델 아키텍처 수정 없이도 인코딩 및 디코딩 단계에서 모두 사실 인식이 가능한 순서-순서 모델을 개발하기 위해.
• 효과적인 대조 학습을 위해 사실 오류를 포함한 고품질의 부정 샘플을 구성하기 위해.
• 대조 학습이 기존 사실 일관성 접근 방식의 자연스럽고 효과적인 확장임을 입증하기 위해.

제안 방법

• CO2Sum는 인코더에서 대조 학습을 적용하여 모델이 입력 기사의 사실적 내용에 집중하도록 돕는다.
• 디코더에서 대조 학습을 적용하여 참 요약과 사실적으로 일관되지 않은 부정 샘플을 구분하도록 한다.
• LFN(Language Model-based Factual Negative sample construction)을 도입하여 취약한 사실 스펙트럼을 식별하고 이를 변형하여 부정 요약을 생성한다.
• 사전 훈련된 언어 모델을 사용하여 참 요약에서 핵심 엔티티나 사실을 대체하여 부정 샘플을 구성한다.
• 표준 티처 포싱 훈련 프로세스에 대조 학습을 통합하여 모델 추론 효율성을 유지한다.
• 인코딩 및 디코딩 단계의 대조 학습 방식은 상호 수직이며, 사실 충실도 향상을 위해 결합할 수 있다.

실험 결과

연구 질문

• RQ1 모델 아키텍처 수정 없이도 대조 학습을 사용하여 요약의 사실 일관성을 효과적으로 향상시킬 수 있는가?
• RQ2 대조 훈련을 위한 사실 오류를 포함한 고품질의 부정 샘플을 자동으로 구성할 수 있는가?
• RQ3 인코딩 및 디코딩 단계에 동시에 대조 학습을 적용할 경우 단일 단계 접근보다 더 높은 사실 일관성을 달성할 수 있는가?
• RQ4 지식 그래프나 후처리 편집 모듈을 사용하는 강력한 베이스라인과 비교할 때 CO2Sum는 사실 일관성 및 성능 면에서 어떻게 비교되는가?

주요 결과

• CO2Sum는 대규모 사전 훈련된 언어 모델에서 사실 일관성을 크게 향상시켜, 네 가지 사실 일관성 메트릭에서 강력한 FASUM 베이스라인을 모두 능가한다.
• 추가 파rameter를 도입하지 않았음에도 불구하고, 추가 BART 모델을 사용해 순위를 매기는 후처리 기반 베이스라인인 CCGS와 경쟁 가능한 성능을 달성한다.
• 인코딩 및 디코딩 단계의 대조 학습을 병합한 조합이 개별 구성 요소보다 더 높은 성능을 보이며, 이는 상호 수직성과 상호 보완성의 확인이다.
• 사례 연구 결과 CO2Sum는 잘못된 엔티티(예: 'animal lover'가 'Republican presidential nomination'으로 잘못된 경우)의 생성 확률을 감소시키고, 올바른 엔티티의 생성 가능성을 높인다.
• LFN 방법은 취약한 사실 스펙트럼을 성공적으로 식별하고, 모델가 사실 환각을 피하도록 효과적으로 훈련할 수 있는 유사한 부정 샘플을 생성한다.
• CO2Sum는 표준 훈련 파이프라인과 호환되며, 아키텍처 변경 없이도 어떤 순서-순서 모델에도 적용 가능하다.