[論文レビュー] Learning to Extract Coherent Summary via Deep Reinforcement Learning

Yuxiang Wu, Baotian Hu|arXiv (Cornell University)|Apr 19, 2018

Topic Modeling参考文献 32被引用数 30

ひとこと要約

本稿では、深層強化学習フレームワークに学習可能なニューラルコherエンスモデルを統合することで要約の整合性を向上させる、強化学習によるニューラル抽出要約（RNES）モデルを提案する。ROUGEスコアと文間コヒーレンスの両方を報酬として用いることで、CNN/Daily Mailデータセットにおいて既存のベースラインを上回り、自動評価および人的評価の両方でより整合的で読みやすく、情報量の多い要約を生成することを実証した。

ABSTRACT

Coherence plays a critical role in producing a high-quality summary from a document. In recent years, neural extractive summarization is becoming increasingly attractive. However, most of them ignore the coherence of summaries when extracting sentences. As an effort towards extracting coherent summaries, we propose a neural coherence model to capture the cross-sentence semantic and syntactic coherence patterns. The proposed neural coherence model obviates the need for feature engineering and can be trained in an end-to-end fashion using unlabeled data. Empirical results show that the proposed neural coherence model can efficiently capture the cross-sentence coherence patterns. Using the combined output of the neural coherence model and ROUGE package as the reward, we design a reinforcement learning method to train a proposed neural extractive summarizer which is named Reinforced Neural Extractive Summarization (RNES) model. The RNES model learns to optimize coherence and informative importance of the summary simultaneously. Experimental results show that the proposed RNES outperforms existing baselines and achieves state-of-the-art performance in term of ROUGE on CNN/Daily Mail dataset. The qualitative evaluation indicates that summaries produced by RNES are more coherent and readable.

研究の動機と目的

• 神経抽出要約モデルに見られる整合性の欠如という問題に取り組むこと。これはしばしば意味的に断絶した要約を生じさせる。
• 手動で設計された特徴量や外部のNERシステムに依存せずに、文間の意味的・構文的コヒーレンスを捉えるエンドツーエンドで学習可能なニューラルコヒーレンスモデルを開発すること。
• 文の情報量（ROUGEスコア）と文間コヒーレンスの両方を同時に最適化する強化学習フレームワークを設計すること。
• コヒーレンスを報酬として組み込むことで、ROUGEに基づく最適化のみに比べて要約品質が向上するかどうかを評価すること。

提案手法

• 分散文表現を用いて2つの文間のコヒーレンスを推定するための新しいニューラルコヒーレンスモデルを提案する。これは複数層の畳み込みとマックスプーリングを活用する。
• ニューラルコヒーレンスモデルはラベルなしデータ上でエンドツーエンドで学習され、特徴工学や外部名前付きエンティティ認識システムの必要性を排除する。
• 強化学習によるニューラル抽出要約（RNES）モデルは、ポリシー勾配強化学習（REINFORCE）を用いて要約に適した文を選択する。
• 報酬関数は、ニューラルコヒーレンスモデルからの即時の報酬（文対のコヒーレンス）と、最終的なROUGEスコア（全体の情報量と文の流れの良さ）を組み合わせる。
• 学習中に、RNESエージェントは累積報酬を最大化する文の順序を学習し、整合的で情報量の多い要約を優先する。
• RNESモデルは、ROUGEに基づく最終報酬とコヒーレンスに基づく中間報酬の組み合わせを用いて、CNN/Daily Mailデータセットでファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 手動で設計された特徴量やNERシステムに依存せずに、ニューラルコヒーレンスモデルが文間の意味的・構文的コヒーレンスを効果的に捉えることができるか？
• RQ2 学習されたコヒーレンス信号を強化学習の目的関数に組み込むことで、抽出要約のコヒーレンスが向上するか？
• RQ3 ROUGEスコアと人的評価による品質指標において、RNESモデルは強力なベースラインと比べてどのように差をつけるか？
• RQ4 コヒーレンスと情報量の両方の報酬を用いて学習したモデルは、ROUGEのみで学習したモデルよりも読みやすく、より整合的な要約を生成できるか？
• RQ5 コヒーレンス報酬の導入により、人的評価による情報量の指標においても向上が見られるか？

主な発見

• RNESモデルは、CNN/Daily Mailデータセットにおいて、ROUGE-1、ROUGE-2、ROUGE-Lの指標で最先端の性能を達成した。
• 人的評価では、コヒーレンス報酬を用いたRNESが、それなしの要約（平均順位1.325）よりも顕著に整合性が高く（平均順位1.092）、p値 < 0.05であった。
• コヒーレンス報酬を用いたRNESモデルは、情報量（1.125 vs. 1.183）と全体の品質（1.209 vs. 1.492）においてもベースラインを上回り、ROUGEのみでの最適化を超えてコヒーレンスが要約品質を向上させることを示した。
• 定性的な分析から、コヒーレンスを考慮したRNESは、曖昧な代名詞を避け、論理的な流れ（例えば、主語を参照する前に導入する）を保つ要約を生成することがわかった。
• ニューラルコヒーレンスモデルは適切な文対のコヒーレンスを的確に特定し、その信号がRNESエージェントに論理的につながった要約の抽出を効果的に誘導していることがわかった。
• RNESにコヒーレンスを組み込んだ場合と組み込まない場合のROUGEスコアの95%信頼区間は重複しており、ROUGEスコアの差は統計的に有意でないが、人的評価によりコヒーレンスにおける明確な優位性が確認された。