[논문 리뷰] Planning with Learned Entity Prompts for Abstractive Summarization

Shashi Narayan, Yao Zhao외 4명|arXiv (Cornell University)|2021. 04. 15.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 추상적 요약을 향상시키기 위해 요약에서 유령체계(정렬된 엔티티 순서)를 먼저 생성하도록 모델을 훈련시키는 Frost라는 방법을 제안한다. 추론 시 이러한 학습된 엔티티 체인을 디코더에 프롬프트로 제공함으로써, XSum 및 SAMSum에서 최고 수준의 ROUGE 점수를 달성하고 엔티티의 특정성과 계획 수준을 향상시키며, 엔티티 프롬프트 수정을 통한 환상적 요약의 효과적 통제가 가능해진다.

ABSTRACT

We introduce a simple but flexible mechanism to learn an intermediate plan to ground the generation of abstractive summaries. Specifically, we prepend (or prompt) target summaries with entity chains -- ordered sequences of entities mentioned in the summary. Transformer-based sequence-to-sequence models are then trained to generate the entity chain and then continue generating the summary conditioned on the entity chain and the input. We experimented with both pretraining and finetuning with this content planning objective. When evaluated on CNN/DailyMail, XSum, SAMSum and BillSum, we demonstrate empirically that the grounded generation with the planning objective improves entity specificity and planning in summaries for all datasets, and achieves state-of-the-art performance on XSum and SAMSum in terms of Rouge. Moreover, we demonstrate empirically that planning with entity chains provides a mechanism to control hallucinations in abstractive summaries. By prompting the decoder with a modified content plan that drops hallucinated entities, we outperform state-of-the-art approaches for faithfulness when evaluated automatically and by humans.

연구 동기 및 목표

• 신경 기반 추상적 요약 모델에서의 내용 계획 부족과 근거 부족으로 인한 환상적 요약 문제를 해결하기 위해.
• 기준 요약에서 추출한 엔티티 체인을 사용한 중간 계획 단계를 도입하여 요약 품질을 향상시키기 위해.
• 환상적 엔티티를 제거하기 위해 엔티티 프롬프트를 수정함으로써 제어 가능하고, 신뢰성 중심의 요약을 가능하게 하기 위해.
• 아키텍처 변경이나 외부 시스템 없이도 사전 훈련 및 미세조정 과정에 내용 계획을 원활하게 통합하기 위해.
• 엔티티 수준의 계획이 다양한 요약 데이터셋에서 요약 품질과 제어 가능성 향상에 기여하는지 입증하기 위해.

제안 방법

• 훈련 시, 타겟 요약에 자동으로 추출된 엔티티 체인—이름이 지정된 엔티티, 날짜, 숫자의 순서로 정렬된 시퀀스—를 앞서 삽입한다.
• Transformer 기반 인코더-디코더 모델을 훈련하여 먼저 엔티티 체인을 생성하고, 입력과 엔티티 체인 양쪽에 조건부로 요약을 생성하도록 한다.
• 자기지도 미세조정과 비지도 사전 훈련 모두에서 이 방법을 적용하며, 마스크된 문장을 사용해 복원을 위한 엔티티 체인을 생성한다.
• 추론 시 엔티티 체인을 디코더 프롬프트로 사용하여 내용 집중도와 환상적 요약 방지에 제어력을 제공한다.
• 예측된 엔티티 체인을 필터링하여 원본 문서에 존재하는 엔티티만 유지함으로써 '드롭-프롬프트' 메커니즘을 구현하며, 이는 신뢰성 향상에 기여한다.
• 디코더 프롬프트(예: Frost)와 입력에 엔티티를 인코딩하는 방식(예: Pegasus, CTRLsum)을 비교하여, 디코더 프롬프트 방식이 더 뛰어난 성능을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 중간 계획 단계로 엔티티 체인 생성을 학습하는 것이 추상적 요약의 품질과 근거성 향상에 기여하는가?
• RQ2 사전 훈련 및 미세조정 단계에서 엔티티 체인 예측을 통합함으로써 다양한 데이터셋에서 ROUGE 점수와 엔티티 수준 지표가 향상되는가?
• RQ3 엔티티 체인 프롬프팅을 통해 프롬프트 수정을 통해 환상적 요약을 효과적으로 제어할 수 있는가?
• RQ4 디코더 프롬프트 기반 내용 계획(Frost)이 입력에 엔티티를 인코딩하는 방법(예: CTRLsum, GSum)과 비교해 요약 품질과 신뢰성 측면에서 어떻게 다른가?
• RQ5 엔티티 프롬프트 조작을 통해 재학습 없이도 다양한 주제의 다양성과 스타일 제어가 가능한 요약을 Frost가 얼마나 잘 구현할 수 있는가?

주요 결과

• Frost는 XSum(ROUGE-1: 61.85, ROUGE-2: 38.95, ROUGE-L: 59.00)과 SAMSum에서 Pegasus 및 기타 기준 모델을 능가하는 최고 수준의 ROUGE 점수를 기록한다.
• CNN/DailyMail에서는 표준 미세조정 대비 엔티티의 특정성과 계획 수준 지표가 향상되었으며, ROUGE 점수는 경쟁 수준을 유지한다.
• 환상적 엔티티를 예측된 엔티티 체인에서 제거하는 '드롭-프롬프트' 메커니즘이 인간 평가 및 자동 평가 모두에서 최고 수준의 접근보다 우수한 결과를 보이며, 신뢰성을 향상시킨다.
• Frost 모델은 평균 60.70 토큰의 더 간결한 요약을 생성하는 데 성공했으며, Pegasus(68.65)와 CTRLSum(74.46)보다도 짧아, 더 나은 계획 수립과 집중도를 반영한다.
• 디코더 프롬프트 기반 엔티티 체인(Frost)은 XSum에서 입력에 엔티티를 인코딩하는 방법(예: CTRLsum, Pegasus 변종)보다 요약 수준 ROUGE 점수와 엔티티 수준 지표에서 뛰어난 성능을 보였다.
• 재학습 없이도 엔티티 프롬프트 수정을 통해 요약의 주제 다양성과 스타일 제어를 효과적으로 가능하게 하여, Frost가 요약 내용에 대한 제어력을 제공한다.