[논문 리뷰] An Entity-Driven Framework for Abstractive Summarization

Eva Sharma, Luyang Huang외 2명|arXiv (Cornell University)|2019. 09. 04.

Topic Modeling참고 문헌 45인용 수 8

한 줄 요약

이 논문은 실체 인식 콘텐츠 선택과 강화 학습을 활용하여 더 일관되고 간결하며 사실에 충실한 요약을 생성하는 두 단계 신경 추상 요약 프레임워크인 SENECA를 제안한다. 유의미한 실체와 언어학적으로 정보를 갖춘 보상에 기반하여 SENECA는 CNN/Daily Mail 및 뉴욕 타임스 데이터셋에서 상태의 최고 성능 ROUGE 점수를 기록하며 인간 평가에서 일관성과 정보성 면에서 이전 모델을 능가한다.

ABSTRACT

Abstractive summarization systems aim to produce more coherent and concise summaries than their extractive counterparts. Popular neural models have achieved impressive results for single-document summarization, yet their outputs are often incoherent and unfaithful to the input. In this paper, we introduce SENECA, a novel System for ENtity-drivEn Coherent Abstractive summarization framework that leverages entity information to generate informative and coherent abstracts. Our framework takes a two-step approach: (1) an entity-aware content selection module first identifies salient sentences from the input, then (2) an abstract generation module conducts cross-sentence information compression and abstraction to generate the final summary, which is trained with rewards to promote coherence, conciseness, and clarity. The two components are further connected using reinforcement learning. Automatic evaluation shows that our model significantly outperforms previous state-of-the-art on ROUGE and our proposed coherence measures on New York Times and CNN/Daily Mail datasets. Human judges further rate our system summaries as more informative and coherent than those by popular summarization models.

연구 동기 및 목표

• 신경 추상 요약 모델에서의 일관성 부족과 사실 오류 문제를 해결하기 위해.
• 입력 텍스트에서 유의미한 실체와 그들의 담론 역할을 모델링하여 요약의 정보성과 일관성을 향상시키기 위해.
• 콘텐츠 선택과 추상화를 분리하는 두 단계 프레임워크를 개발하여 더 나은 제어력과 품질을 확보하기 위해.
• 일관성, 간결성, 명확성에 중점을 둔 언어학적으로 정보를 갖춘 보상 구조를 강화 학습 훈련에 통합하여 추상적 생성을 향상시키기 위해.
• 실체 기반 모델링이 생성 요약의 사실적 충실성과 담론 수준의 일관성 향상에 기여하는지 입증하기 위해.

제안 방법

• 프레임워크는 실체의 유의미성과 맥락적 관련성을 바탕으로 중요한 문장을 식별하는 실체 인식 콘텐츠 선택기 사용.
• 요약 생성기에서는 포인터-생성기 어텐션을 갖춘 시퀀스-투-시퀀스 모델을 사용하여 교차 문장 정보 압축 및 추상화 수행.
• ROUGE 점수와 함께 일관성, 간결성, 명확성에 대한 추가 보상까지 포함한 보상 함수를 사용하여 추상화 생성기를 강화 학습으로 훈련.
• 콘텐츠 선택기와 추상화 생성기를 강화 학습을 통해 공동 최적화하여 정책 기반 경로를 통한 엔드 투 엔드 훈련 가능.
• 주제 일관성을 향상시키기 위해 문장 순서와 대명사 사용을 안내하기 위해 실체 전이와 공호성 패턴 모델링.
• 대명사 사용 및 실체 체인 유지와 같은 자연어 패턴을 촉진하기 위해 언어학적으로 정보를 갖춘 보상 설계.

실험 결과

연구 질문

• RQ1 실체 인식 콘텐츠 선택은 추상 요약의 정보성과 일관성 향상에 기여하는가?
• RQ2 실체 기반 담론 모델링 통합이 요약의 일관성과 사실 충실성에 어떤 영향을 미치는가?
• RQ3 언어학적으로 동기화된 보상이 있는 강화 학습은 ROUGE 기반 최적화를 초월해 요약 품질을 향상시키는가?
• RQ4 두 단계 프레임워크는 엔드 투 엔드 추상 모델보다 더 일관되고 간결한 요약 생성에서 더 우수한 성능을 보이는가?
• RQ5 인간 평가자들이 실체 기반 추상 요약을 최첨단 모델의 결과보다 더 일관성 있고 정보성 있는 것으로 평가하는 정도는 어느 정도인가?

주요 결과

• SENECA는 CNN/Daily Mail 및 뉴욕 타임스 데이터셋에서 모두 새로운 최고 성능 ROUGE 점수를 기록하여 이전 방법들을 크게 능가한다.
• 인간 평가 결과, SENECA가 생성한 요약은 DeepReinforce 및 PointGen과 같은 유명한 모델의 결과보다 더 일관성 있고 정보성이 뛰어나다고 평가되었다.
• 일관성 보상이 추가된 모델(SENECA + R_coh)은 요약의 구조와 내용 면에서 인간 기준 요약과 가장 유사한 결과를 도출했다.
• 자동 평가 결과, 일관성 측정치에서의 유의미한 향상으로 더 나은 담론 수준의 구성이 이루어졌음을 시사한다.
• 실체 전이 및 공호성 모델링을 활용함으로써 더 자연스러운 대명사 사용과 요약 내 중복 감소가 이루어졌다.
• ROUGE, 일관성, 간결성, 명확성 등 다중 목표 보상이 통합된 강화 학습은 더 유창하고 맥락적으로 일관된 요약을 생성했다.