[論文レビュー] A Deep Reinforced Model for Abstractive Summarization

Romain Paulus, Caiming Xiong+1 more|arXiv (Cornell University)|May 11, 2017

Topic Modeling参考文献 39被引用数 1,273

ひとこと要約

本論文は、入力と生成出力の間の intra-attention を用いたニューラル要約モデルと、監督付きクロスエントロピーと強化学習を組み合わせた混合学習目的を提案し、CNN/Daily Mail で ROUGE の最先端を達成し NYT でも強い結果を示し、可読性も向上させた。

ABSTRACT

Attentional, RNN-based encoder-decoder models for abstractive summarization have achieved good performance on short input and output sequences. For longer documents and summaries however these models often include repetitive and incoherent phrases. We introduce a neural network model with a novel intra-attention that attends over the input and continuously generated output separately, and a new training method that combines standard supervised word prediction and reinforcement learning (RL). Models trained only with supervised learning often exhibit "exposure bias" - they assume ground truth is provided at each step during training. However, when standard word prediction is combined with the global sequence prediction training of RL the resulting summaries become more readable. We evaluate this model on the CNN/Daily Mail and New York Times datasets. Our model obtains a 41.16 ROUGE-1 score on the CNN/Daily Mail dataset, an improvement over previous state-of-the-art models. Human evaluation also shows that our model produces higher quality summaries.

研究の動機と目的

• 反復的な語句を含む長文の抽象的要約という課題に取り組む。
• 入力と生成出力の両方の注意の変化を追跡する intra-attentive エンコーダ-デコーダアーキテクチャを開発し、反復を減らす。
• 混合目的で監督あり学習と強化学習を組み合わせ、エクスポージャーバイアスを緩和する。
• 純粋な最大尤度訓練を超えて長文要約の可読性と一貫性を向上させる。

提案手法

• デコードステップ間で焦点を分散させるため、入力系列に対する intra-temporal 注意を導入する。
• 生成済みトークンを追跡し反復を減らすため、intra-decoder 注意を追加する。
• ソースから稀・未見の語をコピーするポインター-ジェネレーター機構を取り入れる。
• 出力生成を強化するため、デコーダと埋め込みの重みを共有する。
• 自己批判的な強化学習目的（および混合 ML/RL 目的）を適用して ROUGE を最適化しつつ可読性を維持する。
• ビーム探索時に繰り返しトライグラムを出力しないよう、テスト時の制約を課す。

実験結果

リサーチクエスチョン

• RQ1 長大な抽象的要約において、intra-temporal 入力注意と intra-decoder 注意は反復を減らせるか？
• RQ2 監督付き学習と強化学習を組み合わせる（混合目的）ことで、長い要約の ROUGE 指標と可読性の向上に寄与するか？
• RQ3 prior work と比べて、CNN/Daily Mail および NYT の抽象的要約タスクでのモデルの性能はどうか？
• RQ4 これらの手法の人間による可読性・関連性の評価への影響は何か？

主な発見

• 本モデルは CNN/Daily Mail で 41.16 ROUGE-1 を達成し、従来の最先端ベースラインを上回る。
• 強化学習（RL）は ROUGE 指標を向上させるが可読性を低下させる可能性がある。一方、混合 ML+RL 目的は可読性を高め、ROUGE も競争力を保つ。
• intra-decoder 注意は、 CNN/Daily Mail の長い実データの要約で ROUGE-1 を改善するが NYT では改善せず、出力長に依存することを示唆。
• NYT では、 intra-attention を用いた ML+RL 設定が強力な ROUGE 指標を達成し、いくつかの抽出型ベースラインや以前の抽象モデルを上回る。
• 人間評価では RL のみだと可読性が低く、ML+RL が最も良い可読性と関連性のバランスを達成。
• intra-attention と混合訓練の組み合わせは長いシーケンスの要約に特に有益で、他の長いシーケンス生成タスクへ拡張可能である。