[논문 리뷰] Topic-Aware Abstractive Text Summarization.

Chujie Zheng, Kunpeng Zhang외 2명|arXiv (Cornell University)|2020. 10. 20.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 전방위적 문서 의미를 포착하기 위해 주제 인식 주의 메커니즘을 트랜스포머 기반 인코더-디코더 아키텍처에 통합한 주제 인식 추상적 요약(TAAS) 프레임워크를 제안한다. TAAS는 추상적 요약 성능을 향상시켜 ROUGE-1, ROUGE-2, ROUGE-L에서 각각 BART를 2%, 8%, 12% 뛰어넘으며, 상대적으로 훨씬 낮은 계산 비용으로 PEGASUS 및 ProphetNet과 유사한 성능을 달성한다.

ABSTRACT

Automatic text summarization aims at condensing a document to a shorter version while preserving the key information. Different from extractive summarization which simply selects text fragments from the document, abstractive summarization generates the summary in a word-by-word manner. Most current state-of-the-art (SOTA) abstractive summarization methods are based on the Transformer-based encoder-decoder architecture and focus on novel self-supervised objectives in pre-training. While these models well capture the contextual information among words in documents, little attention has been paid to incorporating global semantics to better fine-tune for the downstream abstractive summarization task. In this study, we propose a topic-aware abstractive summarization (TAAS) framework by leveraging the underlying semantic structure of documents represented by their latent topics. Specifically, TAAS seamlessly incorporates a neural topic modeling into an encoder-decoder based sequence generation procedure via attention for summarization. This design is able to learn and preserve global semantics of documents and thus makes summarization effective, which has been proved by our experiments on real-world datasets. As compared to several cutting-edge baseline methods, we show that TAAS outperforms BART, a well-recognized SOTA model, by 2%, 8%, and 12% regarding the F measure of ROUGE-1, ROUGE-2, and ROUGE-L, respectively. TAAS also achieves comparable performance to PEGASUS and ProphetNet, which is difficult to accomplish given that training PEGASUS and ProphetNet requires enormous computing capacity beyond what we used in this study.

연구 동기 및 목표

• 현재 추상적 요약 모델이 문서의 전반적인 의미적 구조를 포착하는 데에 한계가 있음을 해결하기 위해.
• 잠재 주제 표현을 전역적 맥락으로 통합하여 추상적 요약의 파인튜닝을 향상시키기 위해.
• 거대한 계산 자원을 요구하지 않고도 요약 효과성을 향상시키는 방법을 개발하기 위해.
• 매우 많은 학습 자원을 사용하지 않고도 PEGASUS 및 ProphetNet과 동등한 성능을 달성하기 위해.
• 주제 인식 모델링이 추상적 요약 작업에서 ROUGE 점수를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 인코더-디코더 주의 메커니즘에 신경 주제 모델링을 통합하여 요약 과정에 전역적 주제 수준의 의미를 통합한다.
• 디코딩 중에 문서 내용과 잠재 주제 표현 양쪽에 주의를 기울이는 주제 인식 주의 메커니즘을 사용한다.
• 생성된 요약 토큰이 문서 내 관련 주제와 동적으로 정렬되도록 주의 메커니즘을 활용한다.
• 주제 일관성에 동시에 최적화하면서도 표준 추상적 요약 목표를 사용해 모델을 종합적으로 훈련시킨다.
• 입력 문서에서 잠재 주제를 추론하기 위해 변동형 오토인코더 기반 신경 주제 모델을 활용한다.
• 주제 표현이 인코더 출력에 조건화되고 디코딩 중에 주의를 기울이는 통합 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 잠재 주제 표현을 통합함으로써 추상적 요약 모델의 전반적 의미 이해 능력이 향상되는가?
• RQ2 주제 인식 주의 메커니즘이 표준 트랜스포머 기반 모델에 비해 더 높은 ROUGE 점수를 낼 수 있는가?
• RQ3 TAAS는 광범위한 계산 자원을 요구하지 않더라도 PEGASUS 및 ProphetNet과 유사한 성능을 달성할 수 있는가?
• RQ4 주제 모델링의 통합은 생성된 요약의 일관성과 정보성에 어떤 영향을 미치는가?
• RQ5 로컬 단어 수준의 맥락을 초월해 전역 의미 신호가 모델 성능에 얼마나 기여하는가?

주요 결과

• TAAS는 ROUGE-1에서 BART를 2% 뛰어넘고, ROUGE-2에서는 8%, ROUGE-L에서는 12% 높은 성능을 기록하여 요약 품질 향상이 뚜렷하게 입증되었다.
• 상당히 낮은 계산 능력으로도 PEGASUS 및 ProphetNet과 유사한 성능을 달성하였다.
• 주제 모델링의 통합은 모델이 전반적 의미를 더 잘 유지할 수 있도록 하여 더욱 일관성 있고 정보적인 요약을 생성하도록 했다.
• 주제 인식 주의 메커니즘은 디코더가 문서의 핵심 주제와 관련된 요약 토큰을 효과적으로 생성하도록 안내하는 데 성공했다.
• 제안된 프레임워크는 다양한 실제 데이터셋에서 강력한 성능을 유지하여 그 견고성과 일반화 능력을 확인했다.
• 전역 의미 신호인 주제 모델링의 결과가 대규모 미사전훈련을 요구하지 않더라도 추상적 요약 향상에 크게 기여할 수 있음을 입증했다.