[논문 리뷰] Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond

Ramesh Nallapati, Bowen Zhou외 3명|arXiv (Cornell University)|2016. 02. 19.

Topic Modeling참고 문헌 27인용 수 375

한 줄 요약

이 논문은 attentional seq2seq RNN을 추상적 요약에 적용하고, 키워드 기능, 스위칭 제너레이터-포인터, 계층적/시계열 어텐션 등 여러 개선을 도입하여 Gigaword와 DUC에서 최첨단 성능을 달성하며, CNN/Daily Mail 다중 문장 데이터셋을 제공하고 벤치마크를 제시합니다.

ABSTRACT

In this work, we model abstractive text summarization using Attentional Encoder-Decoder Recurrent Neural Networks, and show that they achieve state-of-the-art performance on two different corpora. We propose several novel models that address critical problems in summarization that are not adequately modeled by the basic architecture, such as modeling key-words, capturing the hierarchy of sentence-to-word structure, and emitting words that are rare or unseen at training time. Our work shows that many of our proposed models contribute to further improvement in performance. We also propose a new dataset consisting of multi-sentence summaries, and establish performance benchmarks for further research.

연구 동기 및 목표

• 표준 주의 기반 인코더-디코더 RNN이 영어 말뭉치에서 강력한 추상적 요약을 달성할 수 있음을 Demonstrate한다.
• 키워드, 긴 문서, 희귀/미확인 단어 등의 MT 기반 모델이 완전히 포착하지 못한 요약의 주요 문제를 식별하고 해결한다.
• 기본 모델 대비 성능과 견고성을 향상시키는 모듈 확장을 제안한다.
• 향후 연구를 위한 벤치마크를 위해 다중 문장 추상적 요약 데이터셋을 소개하고 벤치마크 결과를 제시한다.

제안 방법

• 양방향 인코더(GRU)와 단방향 디코더(GRU)를 갖춘 주의 기반 인코더-디코더 RNN를 사용한다.
• 대형 어휘 수를 제한하고 훈련 속도를 높이기 위해 large vocabulary trick를 적용한다.
• 워드 임베딩에 POS, NER, TF/IDF 임베딩을 연결하여 특징이 풍부한 인코더를 구성한다.
• 희귀/보지 못한 단어를 소스에서 필요할 때 복사하기 위해 스위칭 제너레이터/포인터 메커니즘을 도입한다.
• 단어 수준과 문장 수준의 중요도를 함께 모델링하는 계층적 어텐션을 도입하고 문장 위치 임베딩을 활용한다.
• 디코딩 단계 전반에서 같은 소스 부분에 대한 반복 집중을 억제하기 위해 시계열 어텐션을 도입한다( CNN/Daily Mail 실험).

실험 결과

연구 질문

• RQ1 표준 주의 기반 seq2seq RNN이 영어 코퍼스에서 최첨단 요약 시스템을 능가할 수 있는가?
• RQ2 키워드 기반 특징, 복사, 계층적/시계열 어텐션 등의 targeted 모델 개선이 추상적 품질에 실질적 이득을 주는가?
• RQ3 다중 문장 요약 성능이 Gigaword, DUC, CNN/Daily Mail 데이터셋에서 어떻게 비교되는가?
• RQ4 새로운 다중 문장 데이터셋을 사용한 향후 추상적 요약 연구를 위한 벤치마크를 어떻게 설정할 수 있는가?

주요 결과

모델 이름	Rouge-1	Rouge-2	Rouge-L	소스 복사 비율 (%)	내부 테스트 세트의 전체 길이 F1
words-lvt2k-1sent	34.97	17.17	32.70	75.85
words-lvt2k-2sent	35.73	17.38	33.25	79.54
words-lvt2k-2sent-hieratt	36.05	18.17	33.52	78.52
feats-lvt2k-2sent	35.90	17.57	33.38	78.92
feats-lvt2k-2sent-ptr	36.40	17.77	33.71	78.70

• 주의 기반 seq2seq RNN이 Gigaword에서 최첨단 성능을 달성하고 dataset-specific 조정 없이 DUC-2004에서도 경쟁력 있는 결과를 보인다.
• 키워드 인식 기능을 추가하면 기본 인코더-디코더 대비 성능이 향상된다.
• 스위칭 제너레이터/포인터 메커니즘은 Rouge 점수에서 최고치를 달성하고 소스 단어 복사 비율을 증가시켜 희귀/미확인 단어 처리에 도움을 준다.
• 계층적 어텐션은 단어 수준과 문장 수준의 중요도를 함께 포착하며 플랫 어텐션 대비 인cremental 이득을 제공한다.
• 시계열 어텐션은 다중 문장 요약에서 중복을 줄이고 CNN/Daily Mail에서 Rouge-F1 점수를 향상시킨다.
• 새로운 CNN/Daily Mail 다중 문장 추상 요약 데이터셋이 대규모 학습 및 벤치마킹을 위해 공개된다.