[論文レビュー] Neural Abstractive Text Summarization with Sequence-to-Sequence Models

Tian Shi, Yaser Keneshloo+2 more|arXiv (Cornell University)|Dec 5, 2018

Topic Modeling参考文献 154被引用数 68

ひとこと要約

seq2seq ベースのニューラル抽象要約の網羅的調査で、ネットワーク構造、訓練戦略、生成手法を網羅し、オープンソースの NATS ツールキットと CNN/Daily Mail、Newsroom、Bytecup に関する実験を含む。

ABSTRACT

In the past few years, neural abstractive text summarization with sequence-to-sequence (seq2seq) models have gained a lot of popularity. Many interesting techniques have been proposed to improve seq2seq models, making them capable of handling different challenges, such as saliency, fluency and human readability, and generate high-quality summaries. Generally speaking, most of these techniques differ in one of these three categories: network structure, parameter inference, and decoding/generation. There are also other concerns, such as efficiency and parallelism for training a model. In this paper, we provide a comprehensive literature survey on different seq2seq models for abstractive text summarization from the viewpoint of network structures, training strategies, and summary generation algorithms. Several models were first proposed for language modeling and generation tasks, such as machine translation, and later applied to abstractive text summarization. Hence, we also provide a brief review of these models. As part of this survey, we also develop an open source library, namely, Neural Abstractive Text Summarizer (NATS) toolkit, for the abstractive text summarization. An extensive set of experiments have been conducted on the widely used CNN/Daily Mail dataset to examine the effectiveness of several different neural network components. Finally, we benchmark two models implemented in NATS on the two recently released datasets, namely, Newsroom and Bytecup.

研究の動機と目的

• ネットワークアーキテクチャと訓練戦略を横断した、要約文生成のための seq2seq モデルの全体像を要約する。
• アテンション、コピー機構、長い文書の処理といった主要なメカニズムを検討し、要点の抽出性、流暢さ、読解性の向上を図る。
• オープンソースのツールキット（NATS）と標準データセットにおけるベンチマークの洞察を提供し、再現性と今後の研究を促進する。

提案手法

• 抽象的要約に用いられる基盤となる seq2seq アーキテクチャとアテンション機構を概説する。
• OOV語と事実性の正確さに対処するためのポインター・ジェネレーター網およびコピー機構を議論する。
• 露出バイアスと評価指標の不一致を緩和するためのカリキュラム学習や強化学習を含む訓練戦略を説明する。
• CNN/畳み込み seq2seq と Transformer アーキテクチャの進展を、効率性と性能の向上の観点から要約する。
• オープンソースライブラリ（NATS）を提示し、CNN/Daily Mail、Newsroom、Bytecup データセットでの実験を報告する。

実験結果

リサーチクエスチョン

• RQ1 seq2seq モデルで高品質な抽象的要約を実現する主なネットワーク構造と要素は何か。
• RQ2 訓練戦略とデコードアルゴリズムは、露出バイアス、目的関数の不一致、生成品質にどう対処するか。
• RQ3 標準ベンチマークにおける要約のための異なるアーキテクチャ（RNN ベース、CNN ベース、Transformer）に関する実証的証拠は何か。
• RQ4 オープンソースツールと標準化された実験を通じて再現性をどう高められるか。

主な発見

• 本調査は seq2seq 抽象的要約を、ネットワーク構造、訓練戦略、生成アルゴリズムに分類して整理している。
• ポインター・ジェネレーターとコピー機構は、OOV語や事実的内容の扱いを改善する。
• RL ベースの訓練は、ROUGE のような微分不能な評価指標と訓練目的を整合させるのに役立つ。
• CNNベースおよびTransformerアーキテクチャは、RNNベースモデルと比較して効率性と競合力のある性能を提供する。
• オープンソース NATS ツールキットが提供され、CNN/Daily Mail、Newsroom、Bytecup に関する実験を実施している。