[논문 리뷰] A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization

Li Wang, Junlin Yao외 4명|arXiv (Cornell University)|2018. 05. 09.

Topic Modeling참고 문헌 24인용 수 26

한 줄 요약

이 논문은 주제 인식 능력을 갖춘 강화된 컨volutional sequence-to-sequence 모델을 제안하여 추상적 텍스트 요약에서 요약의 일관성, 다양성, 정보성 향상을 위해 주제 정보를 공동 주의(multi-level attention)와 편향된 확률 생성 메커니즘을 통해 통합한다. self-critical sequence training (SCST)를 ConvS2S와 결합함으로써 ROUGE 점수를 직접 최적화하고 노출 편향을 완화하여 Gigaword, DUC-2004, LCSTS 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a deep learning approach to tackle the automatic summarization tasks by incorporating topic information into the convolutional sequence-to-sequence (ConvS2S) model and using self-critical sequence training (SCST) for optimization. Through jointly attending to topics and word-level alignment, our approach can improve coherence, diversity, and informativeness of generated summaries via a biased probability generation mechanism. On the other hand, reinforcement training, like SCST, directly optimizes the proposed model with respect to the non-differentiable metric ROUGE, which also avoids the exposure bias during inference. We carry out the experimental evaluation with state-of-the-art methods over the Gigaword, DUC-2004, and LCSTS datasets. The empirical results demonstrate the superiority of our proposed method in the abstractive summarization.

연구 동기 및 목표

• 기존 추상적 요약 모델이 일관성 있고 다양하며 정보적인 요약을 생성하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 자기 비판적 시퀀스 트레이닝(ScST)을 활용하여 순차 생성에서의 노출 편향과 학습-추론 분포 불일치 문제를 극복하기 위해.
• 컨volutional sequence-to-sequence 프레임워크에 주제 인식 컨텍스트 정렬을 통합하여 모델 성능을 향상시키기 위해.
• 비미분 가능한 ROUGE 점수를 직접 최적화하여 자동 평가 지표(예: ROUGE)와 학습 목표 간 격차를 해소하기 위해.

제안 방법

• 인코딩 및 디코딩 과정에서 주제 수준과 단어 수준 표현 간의 정렬을 동시에 수행하는 공동 주제 인식 주의 메커니즘을 도입한다.
• 주제 임베딩을 통합하여 요약 생성을 더 일관성 있고 다양하게 이끌어내는 편향된 확률 생성 메커니즘을 적용한다.
• ROUGE 지표에 대해 직접 최적화할 수 있도록 자기 비판적 시퀀스 트레이닝(SCST) 프레임워크를 채택하여, 미분 가능한 손실 함수가 필요 없도록 한다.
• RNN 기반 모델 대비 더 빠르고 병렬 처리 가능한 훈련을 가능하게 하는 컨volutional sequence-to-sequence(ConvS2S) 아키텍처를 활용한다.
• 기울기 소실 문제를 완화하고 장거리 의존성 모델링을 향상시키기 위해 게이트드 컨볼루션(gated convolutions)을 사용한다.
• 최대우도 사전학습과 SCST를 통한 강화 미세조정을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 ConvS2S 모델에 주제 정보를 통합하면 추상적 요약의 일관성과 정보성 향상에 기여할 수 있는가?
• RQ2 자기 비판적 시퀀스 트레이닝(SCST)은 추상적 요약 모델에서 노출 편향을 어떻게 완화하는가?
• RQ3 단어 수준 주의만 사용하는 것과 비교해 주제 및 단어 수준의 공동 주의가 더 다양한, 더 맥락에 부합하는 요약을 생성하는가?
• RQ4 제안된 모델은 표준 추상적 요약 벤치마크에서 기존 최신 기술 수준의 방법들을 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 제안된 모델은 Gigaword, DUC-2004, LCSTS 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법들보다 ROUGE 점수에서 뛰어난 성능을 보였다.
• 주제 인식 주의의 통합이 인간 평가 및 자동 지표를 통해 요약의 일관성과 정보성 향상에 뚜렷한 기여를 했다.
• 자기 비판적 시퀀스 트레이닝(SCST)은 노출 편향을 효과적으로 감소시키고 학습 목표를 평가 지표(ROUGE)와 일치시켜 더 우수한 일반화 성능을 이끌어냈다.
• 분석 결과, 모델은 더 높은 어휘 다양성과 핵심 내용의 더 좋은 커버리지로 요약을 생성했으며, LCSTS에서의 생성 출력 분석을 통해 이를 입증했다.
• LCSTS 데이터셋에서 모델는 기준 요약에 존재하지 않는 주제 관련 단어를 포함한 요약을 생성했으며, 이는 주제 커버리지 향상의 증거로 볼 수 있다.
• 제거 실험(ablation study) 결과, 주제 모델링과 SCST 모두 성능 향상에 기여하며, 두 요소를 병합한 모델이 가장 높은 ROUGE 점수를 기록했다.