[論文レビュー] Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting

Yen-Chun Chen, Mohit Bansal|arXiv (Cornell University)|May 28, 2018

Topic Modeling参考文献 40被引用数 94

ひとこと要約

本論文は、まず強化学習の抽出子で顕著な文を選択し、それらを抽象的に書き直すハイブリッドの抽出-要約モデルを提示します。CNN/Daily MailでROUGE/METEORの最先端を達成し、並列文デコードによる推論を高速化します。

ABSTRACT

Inspired by how humans summarize long documents, we propose an accurate and fast summarization model that first selects salient sentences and then rewrites them abstractively (i.e., compresses and paraphrases) to generate a concise overall summary. We use a novel sentence-level policy gradient method to bridge the non-differentiable computation between these two neural networks in a hierarchical way, while maintaining language fluency. Empirically, we achieve the new state-of-the-art on all metrics (including human evaluation) on the CNN/Daily Mail dataset, as well as significantly higher abstractiveness scores. Moreover, by first operating at the sentence-level and then the word-level, we enable parallel decoding of our neural generative model that results in substantially faster (10-20x) inference speed as well as 4x faster training convergence than previous long-paragraph encoder-decoder models. We also demonstrate the generalization of our model on the test-only DUC-2002 dataset, where we achieve higher scores than a state-of-the-art model.

研究の動機と目的

• 長文要約の高速化と正確性を、抽出による顕在性と抽象的な書き直しを組み合わせて実現する。
• 抽出器と抽象器をつなぐ文レベルの RL ブリッジを開発し、流暢さを損なわずに連携させる。
• CNN/Daily Mailで最先端の性能を達成し、DUC-2002へ一般化する。
• 学習と推論の大幅な高速化のために並列デコードを可能にする。

提案手法

• 顕著な文を選択する抽出子と、それらを再構成する抽象器の2モジュール構成。
• 文脈のための時間的畳み込みと双方向LSTMによる階層的文表現。
• 文選択はポインタネットワークと2段階注意機構で行い、ROUGEベースの報酬を用いたポリシー勾配（A2C）で訓練。
• 要約器はエンコーダ-アライナー-デコーダ型でコピー機構を用い、簡潔で流暢な書き直しを生成。
• 抽出器にはML事前訓練（代理サリエンシー・ラベル）、抽象器には文レベルのペアを事前訓練；RL（A2C）で抽出器をエンドツーエンドに微調整する一方、抽象器の言語モデルは固定。
• 文間の冗長性を減らすためのリランクオプション（トライグラム回避と多様なデコード）を追加可能。

実験結果

リサーチクエスチョン

• RQ1 文レベルのRL抽出器は、要約のための顕著な文を効果的に特定できるか？
• RQ2 粗い段階から細かい段階への抽出-書き直しアプローチは、エンドツーエンドの長文エンコーダと比べて品質・速度・流暢さを改善するか？
• RQ3 RLガイド付き抽出とコピー機能を持つ抽象器を組み合わせたとき、要約品質と新規性にどんな利得があるか？
• RQ4 DUC-2002のようなドメイン外データセットに対してモデルはどれくらい一般化するか？

主な発見

モデル	R-1	R-2	R-L	METEOR
lead-3 (See et al., 2017)	40.34	17.70	36.57	22.21
Narayan et al. (2018)	40.0	18.2	36.6	-
ff-ext	40.63	18.35	36.82	22.91
rnn-ext	40.17	18.11	36.41	22.81
rnn-ext + RL	41.47	18.72	37.76	22.35
See et al. (2017) w/o coverage	36.44	15.66	33.42	16.65
See et al. (2017)	39.53	17.28	36.38	18.72
Fan et al. (2017) controlled	39.75	17.29	36.54	-
Paulus et al. (ML)	38.30	14.81	35.49	-
Paulus et al. (RL+ML)	39.87	15.82	36.90	-
ff-ext + abs	38.73	15.70	36.33	20.05
rnn-ext + abs	37.58	14.68	35.24	19.39
rnn-ext + abs + RL	38.80	15.66	36.37	21.00
rnn-ext + abs + RL + rerank	39.66	15.85	37.34	20.38
See et al. (2017) (DUC-2002)	37.22	15.78	33.90	-
rnn-ext + abs + RL (DUC-2002)	39.46	17.34	36.72	-

• CNN/Daily Mailにおいて抽出設定と抽象設定の両方でROUGEとMETEORの新しい最先端を達成。
• 並列文レベルデコードを備えたRLガイド抽出器は、従来の長いエンコーダモデルと比べて推論を10〜20倍高速化し、学習収束も最大4倍速くなる。
• 抽象モデルは、強力なベースラインよりもはるかに多くの新規N-gramを生成し、真の抽象的書き直しを示す。
• テスト専用のDUC-2002データセットでも最先端モデルを上回り、良い一般化を示す。
• 人間評価では、強力な以前のモデルに比べて関連性と可読性が向上。
• 任意のリランキングは、文をまたぐ冗長性をさらに減らし、ROUGEの測定値に有意な改善をもたらす。