[논문 리뷰] Sequence Level Contrastive Learning for Text Summarization

Shusheng Xu, Xingxing Zhang외 2명|arXiv (Cornell University)|2021. 09. 08.

Topic Modeling인용 수 23

한 줄 요약

이 논문은 BART를 개선하여 문서, 골드 요약, 모델이 생성한 요약의 표현을 동일한 벡터 공간에서 정렬함으로써 개재적 텍스트 요약을 위한 시퀀스 수준의 대비 학습 프레임워크인 SeqCo를 제안한다. 이 방법은 세 가지 데이터셋(CNN/DailyMail, NYT, XSum)에서 일관되게 ROUGE 점수와 인간 평가 기반 신뢰성 향상을 이룬다. 특히, 신뢰성 향상과 환각 현상 감소에서 뚜렷한 성과를 보였다.

ABSTRACT

Contrastive learning models have achieved great success in unsupervised visual representation learning, which maximize the similarities between feature representations of different views of the same image, while minimize the similarities between feature representations of views of different images. In text summarization, the output summary is a shorter form of the input document and they have similar meanings. In this paper, we propose a contrastive learning model for supervised abstractive text summarization, where we view a document, its gold summary and its model generated summaries as different views of the same mean representation and maximize the similarities between them during training. We improve over a strong sequence-to-sequence text generation model (i.e., BART) on three different summarization datasets. Human evaluation also shows that our model achieves better faithfulness ratings compared to its counterpart without contrastive objectives.

연구 동기 및 목표

• 표준 순차-순차 학습에서 문서와 요약 간의 의미적 동치성에 대한 명시적 모델링 부족 문제를 해결하기 위해.
• 동일한 콘텐츠의 다양한 시각에서 공통 의미 표현을 학습하도록 모델을 유도하여 개재적 요약을 향상시키기 위해.
• 문서, 골드 요약, 모델이 생성한 요약의 표현을 정렬함으로써 생성된 요약의 환각 현상 감소와 신뢰성 향상을 위해.
• 일반화 및 다양성 향상을 위해 동적으로 생성된 요약을 대비 학습에서 추가 시각으로 사용하는 것의 효과를 탐색하기 위해.

제안 방법

• 입력 문서, 해당 골드 요약, 모델이 생성한 요약을 동일한 기저 의미 표현의 서로 다른 시각으로 간주한다.
• 문서와 요약(골드 및 생성된 요약)의 문맥적 표현 간 유사도를 최대화하는 대비 목표를 갖는 BART 기반 모델을 훈련시킨다.
• 동일한 문서-요약 쌍(양성 쌍) 간의 거리를 최소화하고, 다른 문서-요약 쌍(음성 쌍) 간의 거리를 최대화하는 대비 손실 함수를 사용한다.
• 다양성 향상과 강건성 향상을 위해 훈련 중 골드 요약과 모델이 생성한 요약을 모두 양성 시각으로 통합한다.
• 과적합을 방지하고 훈련 비용을 줄이기 위해 문장 수준 또는 시퀀스 수준 표현에 대한 단일 유사도 손실(예: 대비 손실)을 적용한다.
• 생성 품질과 의미 일치를 유지하면서도, 음성 로그우도 손실과 제안된 대비 목표를 조합하여 모델을 종단 간으로 미세조정한다.

실험 결과

연구 질문

• RQ1 시퀀스 수준의 대비 학습이 문서와 요약 간의 의미적 동치성을 명시적으로 모델링함으로써 개재적 텍스트 요약을 향상시킬 수 있는가?
• RQ2 훈련 중에 모델이 생성한 요약을 추가 양성 시각으로 사용할 경우 모델의 일반화 능력과 신뢰성이 향상되는가?
• RQ3 표준 NLL 학습 대비 대비 목표가 생성된 요약의 환각 현상과 사실 일관성에 어떤 영향을 미치는가?
• RQ4 다양한 개재적 특성을 지닌 요약 데이터셋에서 최적의 대비 목표 구성(x-y, x-ŷ, y-ŷ 등)은 무엇인가?
• RQ5 다양한 대비 목표를 조합할 경우 성능 향상가 발생하는가, 아니면 이로 인해 훈련 비용만 증가할 뿐 이득이 없는가?

주요 결과

• SeqCo는 세 데이터셋 전반에서 BART 대비 일관되게 ROUGE 점수를 향상시켰다: CNNDM (+1.2 ROUGE-L), NYT (+1.2 ROUGE-L), XSum (+0.8 ROUGE-L).
• 인간 평가 결과 SeqCo는 BART 대비 유의미하게 높은 신뢰성 평가 점수를 기록했으며(p < 0.05), 신뢰성 평가에서 평균 순위가 낮았다.
• 모델는 소스 문서 대비 더 높은 비율의 새로운 n-그램을 포함한 요약을 생성하여 사실 일관성 손실 없이 더 강력한 개재적 능력을 보였다.
• 매우 개재적인 XSum에서는 초기 훈련 단계에서 생성된 요약을 양성 시각으로 사용할 경우 골드 요약만 사용하는 것보다 성능이 열 劣했다. 이는 초기 단계에서 생성 품질에 민감함을 시사한다.
• 제거 실험 결과 단일 대비 손실(예: x-y) 사용이 충분하며 더 효율적임을 확인했으며, 다중 손실은 30% 더 긴 훈련 시간을 요구하지만 성능 향상이 미미했다.
• 모델는 환각 현상을 감소시키고 신뢰성을 향상시키는 동시에, 새로운 n-그램 통계를 통해 개재적 행동을 유지하거나 略도 향상시켰다.