[논문 리뷰] Deep Recurrent Generative Decoder for Abstractive Text Summarization

Piji Li, Wai Lam외 2명|arXiv (Cornell University)|2017. 08. 02.

Topic Modeling참고 문헌 36인용 수 33

한 줄 요약

이 논문은 변분 추론 기반의 순환 잠재 변수 모델을 통해 대상 요약문으로부터 잠재적 구조적 정보를 통합함으로써, 추상적 텍스트 요약을 위한 딥 순환 생성 디코더(이하 DRGD)를 제안한다. 순서-순서 프레임워크 내에서 생성 잠재 변수와 결정론적 상태를 동시에 활용함으로써, DRGD는 영어(Gigawords, DUC-2004) 및 중국어(LCSTS) 벤치마크에서 최신 기술 수준(SOTA)의 ROUGE 점수를 달성하며, 구조적 생성을 통해 요약 품질을 향상시킴을 입증한다.

ABSTRACT

We propose a new framework for abstractive text summarization based on a sequence-to-sequence oriented encoder-decoder model equipped with a deep recurrent generative decoder (DRGN). Latent structure information implied in the target summaries is learned based on a recurrent latent random model for improving the summarization quality. Neural variational inference is employed to address the intractable posterior inference for the recurrent latent variables. Abstractive summaries are generated based on both the generative latent variables and the discriminative deterministic states. Extensive experiments on some benchmark datasets in different languages show that DRGN achieves improvements over the state-of-the-art methods.

연구 동기 및 목표

• 인간이 작성한 요약문에 내재된 잠재적 구조적 패턴을 모델링하여 추상적 텍스트 요약 품질을 향상시키기 위해.
• 결정론적 디코더가 요약 생성 시 복잡한 구조적 의존성을 포착하는 데 한계가 있음을 해결하기 위해.
• 생성 잠재 변수와 결정론적 상태를 통합하여 요약 품질을 향상시키기 위해.
• 목표 요약문으로부터 구조적 표현을 학습할 수 있는 기울기 역전파가 가능한 종단 간 훈련 프레임워크를 개발하기 위해.
• 순차적 잠재 구조를 모델링하기 위해 순환 변분 추론이 효과적으로 활용될 수 있는지 입증하기 위해.

제안 방법

• 요약문의 잠재적 구조적 정보를 모델링하기 위해 딥 순환 생성 디코더(이하 DRGD)를 통합한 순서-순서 인코더-디코더 프레임워크를 제안한다.
• 생성 잠재 변수에 순환 의존성을 부여한 변분 autoencoder(VAEs)를 사용하여 순차적 구조를 모델링하고, 백프로파게이션을 통한 종단 간 훈련을 가능하게 한다.
• 복잡한 후행 분포를 근사하기 위해 신경망 기반의 변분 추론을 사용하여, 효과적인 훈련을 가능하게 한다.
• 디코딩 중에 생성 잠재 변수와 결정론적 디코더 상태를 동시에 활용하여 더 유창하고 구조적으로 일치하는 요약을 생성한다.
• 잠재 구조 모델링 컴포넌트를 통합된 디코딩 프레임워크에 통합하여 유창성과 사실 일관성 측면에서 공동 최적화를 이룬다.
• 외부 언어학적 특징이나 사전 처리 없이, 백프로파게이션을 사용해 모든 모델 파라미터를 종단 간 훈련한다.

실험 결과

연구 질문

• RQ1 인간이 작성한 요약문의 잠재적 구조적 패턴을 모델링하면 추상적 요약 품질이 향상되는가?
• RQ2 잠재 변수에 순환 의존성을 통합할 경우, 비순환 또는 결정론적 모델 대비 요약 생성에 어떤 개선이 이루어지는가?
• RQ3 생성 잠재 변수와 결정론적 디코더 상태를 결합하면 ROUGE 점수와 더 유창한 요약이 달성되는가?
• RQ4 명시적 지도 학습 없이도 변분 추론 기반의 순환 잠재 변수 모델이 구조적 패턴을 효과적으로 포착할 수 있는가?
• RQ5 제안된 DRGD 프레임워크는 다양한 언어와 데이터셋에서 최신 기술 수준의 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 영어 Gigawords 데이터셋에서 DRGD는 R-1 31.79, R-2 10.75, R-L 27.48로 가장 높은 ROUGE-F1 점수를 기록했다.
• DUC-2004 데이터셋에서 DRGD는 모든 베이스라인을 초월해 R-1 36.99, R-2 24.15, R-L 34.21의 점수를 기록했다.
• 중국어 LCSTS 벤치마크에서 DRGD는 CopyNet과 RNN-distract를 모두 압도하며 R-1 36.99, R-2 24.15, R-L 34.21의 최고 성능을 기록했다.
• 사례 연구 결과, DRGD가 생성한 요약은 '누구-행위-무엇' 패턴 등 황금 표준 요약과 구조적으로 일치하는 반면, StanD와 같은 표준 디코더는 유창하지 않거나 주제에서 벗어난 출력을 내놓는다.
• 모델의 성능 향상 요인은 순환 변분 추론을 통한 복잡한 잠재 구조 패턴 학습 및 활용 능력에 기인한다.
• DRGD는 다양한 언어와 데이터셋에서 뛰어난 일반화 성능를 보이며, 잠재 구조 모델링 접근법의 견고성을 입증한다.