[논문 리뷰] Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation

Yuning Mao, Xiang Ren외 2명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 26인용 수 31

한 줄 요약

CAS는 요약에서 제약 토큰을 강제하기 위해 어휘적으로 제약된 디코딩을 사용하여 사실성 일관성과 ROUGE 점수를 재학습 없이 향상시킵니다. 자동 제약 및 대화식 제약으로 CNNDM과 XSum에서 이득을 보입니다.

ABSTRACT

Despite significant progress, state-of-the-art abstractive summarization methods are still prone to hallucinate content inconsistent with the source document. In this paper, we propose Constrained Abstractive Summarization (CAS), a general setup that preserves the factual consistency of abstractive summarization by specifying tokens as constraints that must be present in the summary. We adopt lexically constrained decoding, a technique generally applicable to autoregressive generative models, to fulfill CAS and conduct experiments in two scenarios: (1) automatic summarization without human involvement, where keyphrases are extracted from the source document and used as constraints; (2) human-guided interactive summarization, where human feedback in the form of manual constraints are used to guide summary generation. Automatic and human evaluations on two benchmark datasets demonstrate that CAS improves both lexical overlap (ROUGE) and factual consistency of abstractive summarization. In particular, we observe up to 13.8 ROUGE-2 gains when only one manual constraint is used in interactive summarization.

연구 동기 및 목표

• 추상적 요약에서 사실성 허위 진술을 줄이는 동기를 제시합니다.
• 요약에 나타나야 하는 텍스트 범위 집합을 포함하는 일반적인 CAS 프레임워크를 제안합니다.
• 모델 재학습 없이 CAS가 어휘적 중복(ROUGE)과 사실성 일관성을 향상시킨다는 것을 보여줍니다.
• 자동 제약 추출과 인간이 안내하는 대화식 제약 시나리오를 보여줍니다.
• 기저 모델로 BERTSum을 사용하여 CNNDM 및 XSum에서 CAS를 평가합니다.

제안 방법

• 제약 집합 C를 요약에 나타나야 하는 텍스트 범위로 정의합니다.
• 추론 중 제약을 강제하기 위해 어휘적으로 제약된 디코딩(동적 빔 할당)을 사용합니다.
• 원천으로부터 키프레이즈 추출(BERT-KPE)을 통해 제약을 자동으로 생성하고 새로운 정보를 추가하도록 필터링합니다.
• 참고 요약의 엔터티/구를 수동 제약으로 사용하여 인간이 안내하는 제약을 시뮬레이션합니다.
• ROUGE 및 사실성 일관성 지표를 사용하여 CNNDM과 XSum에서 기저 모델 BERTSum으로 CAS를 평가합니다.

실험 결과

연구 질문

• RQ1 제약된 생성이 모델 재학습 없이 사실성 일관성을 향상시킬 수 있습니까?
• RQ2 자동으로 추출된 제약이 CNNDM과 XSum 전반에서 ROUGE 및 사실성 지표를 향상시킵니까?
• RQ3 대화식(수동) 제약 지도가 자동 제약에 비해 성능에 어떤 영향을 줍니까?
• RQ4 실용적 사용에 충분한 효율성을 가진 제약 디코딩인가요?

주요 결과

• CAS는 자동으로 추출된 핵심구를 제약으로 사용할 때 CNNDM 및 XSum에서 ROUGE-1, ROUGE-2 및 ROUGE-L를 향상시킵니다.
• CAS 하에서 CNNDM 및 XSum에 대한 엔터티 수준 사실성 일관성과 지원 점수가 향상됩니다.
• 대화식 요약에서 단일 수동 제약(예: 구)을 사용하는 경우 XSum에서 최대 13.8 ROUGE-2 증가를 얻습니다.
• CAS는 제약의 무작위 삽입보다 우수하여 가이드된 제약 사용이 이롭다는 것을 시사합니다.
• 제약 디코딩은 일반적인 빔 크기에서 관리 가능한 런타임 오버헤드를 추가합니다.
• 일부 설정에서는 수동 제약이 표준적이고 더 비싼 모델에 근접하거나 이를 능가할 수 있습니다.