[論文レビュー] Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond

Ramesh Nallapati, Bowen Zhou+3 more|arXiv (Cornell University)|Feb 19, 2016

Topic Modeling参考文献 27被引用数 375

ひとこと要約

本論文は注意機構付き seq2seq RNN を抽象的要約に適用し、いくつかの改良（キーワード機能、生成器とポインターの切替、階層的および時系列注意機構）を導入、GigawordとDUCで最先端の性能を達成し、ベンチマーク付きのマルチ文 CNN/Daily Mail データセットを提供する。

ABSTRACT

In this work, we model abstractive text summarization using Attentional Encoder-Decoder Recurrent Neural Networks, and show that they achieve state-of-the-art performance on two different corpora. We propose several novel models that address critical problems in summarization that are not adequately modeled by the basic architecture, such as modeling key-words, capturing the hierarchy of sentence-to-word structure, and emitting words that are rare or unseen at training time. Our work shows that many of our proposed models contribute to further improvement in performance. We also propose a new dataset consisting of multi-sentence summaries, and establish performance benchmarks for further research.

研究の動機と目的

• 標準的な注意機構付きエンコーダ-デコーダ RNN が英語コーパスに対して高品質な抽象要約を実現できることを示す。
• 機械翻訳ベースのモデルでは十分に捉えきれていない要約上の重要な課題（キーワード、長い文書、稀で未知の語）を特定し対処する。
• ベースラインより性能と頑健性を向上させるモデル拡張を提案する。
• マルチ文の抽象的要約データセットを導入し、将来の研究のためのベンチマーク結果を確立する。

提案手法

• 双方向エンコーダ（GRU）と単方向デコーダ（GRU）を用いた注意機構付きエンコーダ-デコーダ RNN を用いる。
• デコーダの softmax サイズを制限し学習を高速化する大語彙トリックを適用する。
• POS/NER/TF/IDF の埋め込みを単語埋め込みと結合して特徴豊富なエンコーダを構築する。
• 必要に応じてソースから稀な語や未知語をコピーする切替型生成機/ポインター機構を導入する。
• 語レベルと文レベルの重要度を共同でモデル化する階層的注意機構を、文位置埋め込みと共に実装する。
• デコード手順全体で同じソース部分への繰り返し焦点を抑制する時系列注意機構を組み込む（CNN/Daily Mail の実験）

実験結果

リサーチクエスチョン

• RQ1 標準的な注意機構付き seq2seq RNN が英語コーパス上で最先端の要約システムを上回ることができるか？
• RQ2 キーワード、コピー、階層/時系列注意といったターゲットを絞ったモデル改善が抽象的品質の測定可能な向上をもたらすか？
• RQ3 Gigaword、DUC、CNN/Daily Mail のデータセット間でマルチ文要約の性能はどのように比較されるか？
• RQ4 新しいマルチ文データセットを用いた将来の抽象的要約研究のために、どのようなベンチマークを確立できるか？

主な発見

モデル名	Rouge-1	Rouge-2	Rouge-L	ソースコピー率 (%)	内部テストセットでの全長 F1
words-lvt2k-1sent	34.97	17.17	32.70	75.85
words-lvt2k-2sent	35.73	17.38	33.25	79.54
words-lvt2k-2sent-hieratt	36.05	18.17	33.52	78.52
feats-lvt2k-2sent	35.90	17.57	33.38	78.92
feats-lvt2k-2sent-ptr	36.40	17.77	33.71	78.70

• 注意機構付き seq2seq RNN は Gigaword で最先端の性能を、DUC-2004 ではデータセット特異的調整なしに競争力のある結果を達成。
• キーワード対応の特徴を追加することでベースラインのエンコーダ-デコーダを上回る性能が向上。
• 生成器/ポインター機構の切替が最良の Rouge スコアをもたらし、ソース語コピー率を高め、稀な語・未知語の扱いを助ける。
• 階層的注意は語レベルと文レベルの重要性の両方を捉え、平坦な注意より徐増的な利得を提供。
• 時系列注意はマルチ文要約における繰り返しを減らし、CNN/Daily Mail で Rouge-F1 スコアを改善。
• 大規模な学習とベンチマーキングのための新しい CNN/Daily Mail マルチ文抽象要約データセットを公開。