[논문 리뷰] Sequence-to-Sequence RNNs for Text Summarization

Ramesh Nallapati, Bing Xiang외 1명|arXiv (Cornell University)|2016. 02. 18.

Topic Modeling참고 문헌 8인용 수 128

한 줄 요약

이 논문은 텍스트 요약을 기계 번역 문제로 간주하여, 주어진 문장들을 요약하는 데에 주로 사용되는 순차적-순차적 RNN에 주목 기반 메커니즘을 도입한다. 이는 기존의 조정 없이도 Gigaword 데이터셋에서 최신 기술 수준의 성능을 달성하며, 요약 품질을 향상시키는 데에 기여하는 아키텍처 확장 기법을 제안한다.

ABSTRACT

In this work, we cast text summarization as a sequence-to-sequence problem and apply the attentional encoder-decoder RNN that has been shown to be successful for Machine Translation (Bahdanau et al. (2014)). Our experiments show that the proposed architecture significantly outperforms the state-of-the art model of Rush et al. (2015) on the Gigaword dataset without any additional tuning. We also propose additional extensions to the standard architecture, which we show contribute to further improvement in performance.

연구 동기 및 목표

• 신경망을 사용하여 텍스트 요약을 순차적-순차적 학습 문제로 다루기 위해.
• 기계 번역 분야에서 효과가 입증된 주목 기반 인코더-디코더 프레임워크를 개괄적 요약에 적용하기 위해.
• Gigaword 데이터셋에서 Rush 등(2015)의 최신 기술 수준 모델을 초월하기 위해.
• 요약 성능 향상을 위한 아키텍처 확장 기법 탐색하기 위해.

제안 방법

• 텍스트 요약을 위해 순차적-순차적 RNN 아키텍처를 사용하며, 인코더-디코더 구조를 적용한다.
• 디코더가 디코딩 중 입력 시퀀스의 관련 부분에 집중할 수 있도록 주목 기반 메커니즘을 통합한다.
• 입력 텍스트의 양방향에서 문맥 정보를 포착하기 위해 인코더에 양방향 LSTM를 적용한다.
• OOV(어휘 외 단어)를 처리하기 위해 포인터-ジェ너레이터 네트워크 또는 유사한 메커니즘을 적용하나, 개요에서는 명시적으로 설명되지 않았다.
• 자동 평가 지표를 최적화하기 위해 주목 기반의 순차적-순차적 학습을 사용하여 모델을 종단 간 학습한다.
• 모델 성능 향상을 위해 개선된 주목 기반 메커니즘 또는 디코딩 전략과 같은 아키텍처 확장 기법을 도입한다.

실험 결과

연구 질문

• RQ1 주목 기반 메커니즘을 갖춘 순차적-순차적 RNN 아키텍처가 텍스트 요약 작업을 효과적으로 처리할 수 있는가?
• RQ2 주목 기반 인코더-디코더 모델은 Gigaword 데이터셋에서 Rush 등(2015)의 최신 기술 수준 모델과 비교해 어떻게 성능을 내는가?
• RQ3 요약을 위한 표준 순차적-순차적 아키텍처를 확장함으로써 어떤 성능 향상이 달성될 수 있는가?
• RQ4 제안된 모델은 추가적인 하이퍼파rameter 조정 없이도 잘 일반화되는가?

주요 결과

• 제안된 모델은 Gigaword 데이터셋에서 Rush 등(2015)의 최신 기술 수준 모델을 뚜렷이 뛰어넘는 성능을 달성한다.
• 모델은 추가적인 하이퍼파rameter 조정 없이도 뛰어난 성능을 내는 데 성공한다.
• 제안된 아키텍처 확장 기법이 텍스트 요약 성능 향상에 기여한다.
• 주목 기반 메커니즘이 요약 생성 중 관련 입력 세그먼트에 동적으로 집중할 수 있도록 한다.