[논문 리뷰] Neural Abstractive Text Summarization with Sequence-to-Sequence Models

Tian Shi, Yaser Keneshloo외 2명|arXiv (Cornell University)|2018. 12. 05.

Topic Modeling참고 문헌 154인용 수 68

한 줄 요약

seq2seq 기반 신경 추상 텍스트 요약의 포괄적 조사로, 네트워크 구조, 학습 전략, 생성 방법을 다루며 오픈 소스 NATS 툴킷과 CNN/Daily Mail, Newsroom, Bytecup에서의 실험 포함.

ABSTRACT

In the past few years, neural abstractive text summarization with sequence-to-sequence (seq2seq) models have gained a lot of popularity. Many interesting techniques have been proposed to improve seq2seq models, making them capable of handling different challenges, such as saliency, fluency and human readability, and generate high-quality summaries. Generally speaking, most of these techniques differ in one of these three categories: network structure, parameter inference, and decoding/generation. There are also other concerns, such as efficiency and parallelism for training a model. In this paper, we provide a comprehensive literature survey on different seq2seq models for abstractive text summarization from the viewpoint of network structures, training strategies, and summary generation algorithms. Several models were first proposed for language modeling and generation tasks, such as machine translation, and later applied to abstractive text summarization. Hence, we also provide a brief review of these models. As part of this survey, we also develop an open source library, namely, Neural Abstractive Text Summarizer (NATS) toolkit, for the abstractive text summarization. An extensive set of experiments have been conducted on the widely used CNN/Daily Mail dataset to examine the effectiveness of several different neural network components. Finally, we benchmark two models implemented in NATS on the two recently released datasets, namely, Newsroom and Bytecup.

연구 동기 및 목표

• 네트워크 아키텍처와 학습 전략 전반에 걸친 seq2seq 모델의 추상적 텍스트 요약 구도 요약한다.
• 주요 메커니즘인 주의(attention), 복사(copying) 메커니즘 및 긴 문서 처리 등을 검토하여 중요도, 유창성, 가독성을 개선한다.
• 복제와 추가 연구를 용이하게 하기 위해 오픈 소스 툴킷(NATS)과 표준 데이터셋에 대한 벤치마크 인사이트를 제공한다.

제안 방법

• 추상 요약에 사용되는 기초 seq2seq 아키텍처와 주의 메커니즘을 검토한다.
• OOV 단어 및 사실적 정확성을 다루기 위한 포인터-제너레이터 네트워크와 복사 메커니즘을 논의한다.
• 노출 바이어스와 지표 불일치를 완화하기 위한 커리큘럼 학습 및 강화 학습을 포함한 학습 전략을 설명한다.
• 향상된 효율성과 성능을 위한 CNN/합성곱 seq2seq 및 Transformer 아키텍처의 발전을 요약한다.
• 오픈 소스 라이브러리(NATS)를 제시하고 CNN/Daily Mail, Newsroom, Bytecup 데이터셋에 대한 실험을 보고한다.

실험 결과

연구 질문

• RQ1 seq2seq 모델로 고품질 추상 요약을 가능하게 하는 주요 네트워크 구조와 구성 요소는 무엇인가?
• RQ2 학습 전략과 디코딩 알고리즘은 노출 바이어스, 목표 불일치, 생성 품질을 어떻게 다루는가?
• RQ3 표준 벤치마크에서 RNN 기반, CNN 기반, Transformer 등의 다양한 아키텍처가 추상적 요약에 대해 보여주는 실증적 증거는 무엇인가?
• RQ4 오픈 소스 도구 및 표준화된 실험을 통해 재현성을 어떻게 향상시킬 수 있는가?

주요 결과

• 본 조사는 seq2seq 추상 요약을 네트워크 구조, 학습 전략, 생성 알고리즘으로 구성으로 정리한다.
• 포인터-제너레이터 및 복사 메커니즘은 OOV 단어 및 사실 콘텐츠 처리를 개선한다.
• RL 기반 학습은 커리큘럼 학습을 포함하여 ROUGE와 같은 미분 불가능한 평가 지표와 학습 목표의 정렬에 도움이 된다.
• CNN 기반 및 Transformer 아키텍처는 RNN 기반 모델에 비해 효율성 향상과 경쟁력 있는 성능을 제공한다.
• 요약된 모델을 재현하고 확장하기 위한 오픈 소스 NATS 툴킷이 제공되며, CNN/Daily Mail, Newsroom, Bytecup 데이터셋에 대한 실험이 있다.