[논문 리뷰] Planning with Entity Chains for Abstractive Summarization.

Shashi Narayan, Yao Zhao외 3명|arXiv (Cornell University)|2021. 04. 15.

Topic Modeling참고 문헌 25인용 수 16

한 줄 요약

이 논문은 개재된 요약문에서 언급된 실체들(엔티티들)의 연속인 엔티티 체인을 사용하여 개재 요약의 내용 기획 기법을 제안한다. 사전 훈련 및 미세조정 단계에서 타겟 요약문에 해당 엔티티 체인을 보완함으로써 모델은 사실적 일致성과 간결성을 향상시키며, SAMSum 및 XSum에서 최신 기준 ROUGE 점수를 달성하면서 환각 현상을 줄였다.

ABSTRACT

Pre-trained transformer-based sequence-to-sequence models have become the go-to solution for many text generation tasks, including summarization. However, the results produced by these models tend to contain significant issues such as hallucinations and irrelevant passages. One solution to mitigate these problems is to incorporate better content planning in neural summarization. We propose to use entity chains (i.e., chains of entities mentioned in the summary) to better plan and ground the generation of abstractive summaries. In particular, we augment the target by prepending it with its entity chain. We experimented with both pre-training and finetuning with this content planning objective. When evaluated on CNN/DailyMail, SAMSum and XSum, models trained with this objective improved on entity correctness and summary conciseness, and achieved state-of-the-art performance on ROUGE for SAMSum and XSum.

연구 동기 및 목표

• 사전 훈련된 트랜스포머에 의해 생성되는 개재 요약에서 환각 현상과 부적절한 내용을 해결하기 위해.
• 신경 기반 개재 요약에서 사실적 일치성과 요약의 간결성을 향상시키기 위해.
• 엔티티 체인이 순서 기반 생성 모델에 효과적인 내용 기획 기법이 될 수 있는지 탐색하기 위해.
• 엔티티 체인 보강이 요약 작업의 사전 훈련 및 미세조정에 미치는 영향을 평가하기 위해.

제안 방법

• 모델은 요약문에 해당하는 엔티티 체인으로 보완된 타겟 요약문을 사용하여 훈련된다. 이 엔티티 체인은 요약문에서 추출된다.
• 엔티티 체인은 요약문에 언급된 엔티티들을 인식하고 일관된 순서로 정렬하여 구성된다.
• 이 방법은 사전 훈련 및 미세조정 단계 모두에서 엔티티 체인의 지도를 통합하여 생성을 안내한다.
• 이 접근법은 엔티티 체인을 포함하도록 입력 형식을 수정한 사전 훈련된 트랜스포머 기반의 순서 기반 생성 모델을 활용한다.
• 모델은 엔티티 체인에 기반한 요약을 생성하도록 학습하여 사실적 일치성과 통일감을 향상시킨다.

실험 결과

연구 질문

• RQ1 엔티티 체인은 개재 요약의 사실적 정확성을 향상시킬 수 있는가?
• RQ2 엔티티 체인을 통합할 경우 요약의 간결성과 유창성에 어떤 영향을 미치는가?
• RQ3 엔티티 체인 기반 기획은 표준 벤치마크에서 ROUGE 점수 향상에 기여하는가?
• RQ4 엔티티 체인 지도는 CNN/DailyMail, SAMSum, XSum와 같은 다양한 요약 데이터셋에서 성능 향상에 기여하는가?

주요 결과

• 모델은 SAMSum 및 XSum 벤치마크에서 최신 기준 ROUGE 점수를 달성했다.
• 기본 모델 대비 생성된 요약문에서 엔티티 정확성이 유의미하게 향상되었다.
• 생성된 요약문은 더 간결하여 집중도가 높고 중복이 줄어들었다.
• CNN/DailyMail, SAMSum, XSum를 포함한 여러 데이터셋에서 일관된 향상이 나타났다.