[논문 리뷰] Topic Augmented Generator for Abstractive Summarization

Melissa Ailem, Bowen Zhang외 1명|arXiv (Cornell University)|2019. 08. 19.

Topic Modeling참고 문헌 19인용 수 17

한 줄 요약

이 논문은 LDA를 통해 추론된 잠재 주제에 조건을 두어 디코더를 조정함으로써 시퀀스-투-시퀀스 모델을 개선하는 주제 증강 생성기(TAG)를 제안한다. 포인터-생성기 네트워크와 주제 모델링을 통합함으로써 ROUGE 점수를 향상시키고 원본 문서의 주제 분포와 더 잘 일치하는 더 의미적으로 일관된 요약을 생성하며, CNN/Daily Mail 및 WikiHow에서 최신 기준 모델들을 능가한다.

ABSTRACT

Steady progress has been made in abstractive summarization with attention-based sequence-to-sequence learning models. In this paper, we propose a new decoder where the output summary is generated by conditioning on both the input text and the latent topics of the document. The latent topics, identified by a topic model such as LDA, reveals more global semantic information that can be used to bias the decoder to generate words. In particular, they enable the decoder to have access to additional word co-occurrence statistics captured at document corpus level. We empirically validate the advantage of the proposed approach on both the CNN/Daily Mail and the WikiHow datasets. Concretely, we attain strongly improved ROUGE scores when compared to state-of-the-art models.

연구 동기 및 목표

• 국소적 어텐션 메커니즘을 넘어서 전반적인 의미 정보를 통합함으로써 개선된 추상적 요약 생성을 위한 목표.
• 현재 모델들이 입력 텍스트에 명시적으로 존재하지 않는 더 넓은 개념적 주제를 반영하는 의미적으로 일관된 요약을 생성하는 데에 한계가 있음을 해결하기 위한 목표.
• 비지도 주제 모델링이 지도 학습 기반 신경 기반 추상적 요약 생성에 효과적인 인덕티브 바이어스로 기능할 수 있는지 탐색하기 위한 목표.
• 특히 요약 어휘가 짧거나 흐릿한 경우, 원본 문서의 잠재 주제 구조와의 일관성을 향상시켜 요약의 일관성을 높이기 위한 목표.
• 주제 기반 디코딩이 더 정보량이 많고 맥락적으로 정확한 요약을 이끌어내는지 입증하기 위한 목표.

제안 방법

• 모델은 입력 텍스트에 주목하고, 입력에서 복사하며, LDA로부터 유도된 잠재 주제에 조건을 두는 것을 학습하는 포인터-생성기 디코더를 사용한다.
• 잠재 주제들은 입력 문서에서 잠재 디리클레 분할(Latent Dirichlet Allocation, LDA)을 사용해 추론되며, 이는 코퍼스 수준의 단어 공출현 패턴을 제공한다.
• 디코더의 은닉 상태는 주제 분포 θ*에 조건을 두어 더 넓은 의미 주제와 일치하는 단어를 생성할 수 있도록 한다.
• 어텐션 메커니즘은 주제 기반 컨텍스트를 포함하도록 수정되어, 입력에 없는 의미적으로 관련된 OOV(Out-of-Vocabulary) 단어도 생성할 수 있도록 한다.
• 반복 방지를 개선하고 유창성을 높이기 위해 커버리지 메커니즘(Cov)과 통합된다.
• 시퀀스-투-시퀀스 생성과 주제 추론을 동시에 최적화하는 엔드 투 엔드 학습 방식을 사용한다.

실험 결과

연구 질문

• RQ1 LDA로부터 추론된 잠재 주제를 통합함으로써 추상적 요약의 품질을 향상시킬 수 있는가?
• RQ2 주제 기반 디코딩은 원본 문서의 주요 주제와 더 의미적으로 일관된 요약을 이끌어내는가?
• RQ3 기본 벤치마크에서 최신 기준 추상적 요약 모델들과 비교해 성능이 어떻게 나타나는가?
• RQ4 기준 요약이 너무 간략하여 신뢰할 수 있는 주제 탐지가 어려운 상황에서 주제 모델링이 더 정보량 많은 요약 생성에 도움이 되는가?
• RQ5 주제 정보를 포함함으로써 정확한 사실 유지와 함께 입력 텍스트의 정확한 단어 복사에 의존도를 줄일 수 있는가?

주요 결과

• TAG 모델은 CNN/Daily Mail에서 ROUGE-1 점수 36.48을 기록하여 베이스라인 PG 모델(35.73)과 PG+Cov(39.12)를 능가한다.
• WikiHow에서는 TAG가 ROUGE-1 26.18을 기록하여 PG(26.02)와 PG+Cov(27.08)를 초월한다.
• TAG+Cov 버전은 CNN/Daily Mail에서 ROUGE-1 40.06, WikiHow에서 ROUGE-1 28.36를 기록하여 Lead-3 베이스라인을 ROUGE-1과 ROUGE-L 모두에서 뛰어넘는 최고 성능을 기록한다.
• TAG+Cov가 생성한 요약은 실제 요약보다 원본 문서의 주제 분포와 더 낮은 쿨백-라이블러 발산을 보이며, 더 높은 주제 일관성을 나타낸다.
• 정성적 분석에서 TAG+Cov는 PG+Cov보다 더 간결하고 주제 중심적인 요약을 생성하며, 특히 기준 요약이 너무 짧은 경우 주요 아이디어를 더 효과적으로 포괄한다.
• 한 예시에서 TAG+Cov는 3개의 문장을 생성한 반면 PG+Cov는 오직 2개의 문장만 생성하여 구조적이고 주제적으로 더 완성도 있는 요약을 생성하는 것으로 나타났다.