[論文レビュー] Summary Level Training of Sentence Rewriting for Abstractive Summarization

Sanghwan Bae, Taeuk Kim+2 more|arXiv (Cornell University)|Sep 19, 2019

Topic Modeling参考文献 44被引用数 8

ひとこと要約

本稿では、要約レベルの ROUGE スコアを直接最適化する新しい強化学習フレームワークを提案する。このフレームワークは、BERT を用いた文抽出と報酬形状設計を用いて、学習目的と評価指標の不一致を是正する。CNN/Daily Mail および NYT データセットにおいて最先端の結果を達成し、ROUGE-L で顕著な向上を示し、DUC-2002 でも優れた汎化性能を示す。

ABSTRACT

As an attempt to combine extractive and abstractive summarization, Sentence Rewriting models adopt the strategy of extracting salient sentences from a document first and then paraphrasing the selected ones to generate a summary. However, the existing models in this framework mostly rely on sentence-level rewards or suboptimal labels, causing a mismatch between a training objective and evaluation metric. In this paper, we present a novel training signal that directly maximizes summary-level ROUGE scores through reinforcement learning. In addition, we incorporate BERT into our model, making good use of its ability on natural language understanding. In extensive experiments, we show that a combination of our proposed model and training procedure obtains new state-of-the-art performance on both CNN/Daily Mail and New York Times datasets. We also demonstrate that it generalizes better on DUC-2002 test set.

研究の動機と目的

• 要約生成モデルにおける文レベルの学習報酬と要約レベルの評価指標の不一致を解消すること。
• BERT の表現学習を活用して文の重要度検出を向上させ、文抽出性能を改善すること。
• 強化学習を用いて要約レベルの ROUGE スコアを直接最適化することで、要約全体の質と自然さを向上させること。
• より良い学習信号の整合性を実現することで、DUC-2002 のようなドメイン外データセットにおけるモデルの汎化性能を向上させること。
• 事前学習言語モデルと要約指標のグローバル最適化を組み合わせた有効性を示すこと。

提案手法

• 二段階アーキテクチャを導入：ドキュメントから重要な文を抽出する BERT を用いた抽出器と、それらを要約に再構成する抽象器から構成される。
• 強化学習の報酬信号として要約レベルの ROUGE F1 スコアを用い、最終的な評価指標を直接最適化する。
• 最適方策を保持しつつ、報酬のスパarsity を軽減するため、文選択段階で中間報酬を提供する報酬形状を適用する。
• 要約レベル報酬を用いて方策勾配法により抽出器を微調整し、要約パイプライン全体のエンドツーエンド最適化を可能にする。
• 抽出器における文符号化に BERT を活用し、自然言語理解タスクで優れた性能を発揮する。
• CNN/Daily Mail および NYT データセットで強化学習を用いてモデルを学習し、インドメインおよびアウトオブドメインのベンチマークで評価を行う。

実験結果

リサーチクエスチョン

• RQ1 文レベルの報酬学習と比較して、要約レベルの ROUGE スコアを直接最適化することで、要約生成性能が向上するか？
• RQ2 文抽出モジュールに BERT を統合することで、重要度検出と全体的な要約品質が向上するか？
• RQ3 報酬形状が、文選択における要約レベル報酬のスパarsity を効果的に緩和できるか？
• RQ4 本手法は、DUC-2002 のようなドメイン外データセットにおいて、先行する最先端モデルと比較してより優れた汎化性能を示すか？
• RQ5 ROUGE-L スコアは、自然さと一貫性を示唆するが、モデルはどの程度向上を達成するか？

主な発見

• 提案手法は CNN/Daily Mail データセットで新たな最先端性能を達成し、ROUGE-L F1 スコアが 43.38 に達した。これは BERTSUM や Two-Stage BERT などの先行手法を上回る。
• ニューヨーク・タイムズ（NYT50）データセットでは、ROUGE-L F1 スコアが 43.38 に達し、抽出的・抽象的ベースラインをすべて上回った（Liu, 2019 の ROUGE-1 を除く）。
• 非 RL ベースラインと比較して、ROUGE スコアで 2 ポints の向上を示し、強化学習による学習手順の有効性を裏付けた。
• DUC-2002 テストセットでは、ROUGE-L F1 スコアが 40.14 に達し、先行モデルを著しく上回り、優れた汎化性能とロバストネスを示した。
• Amazon Mechanical Turk を用いた人間評価では、Chen よりも大幅に優れていた（p<0.05）が、Bansal (2018) や Liu (2019) と比較して読みやすさに有意差は認められなかった。
• BERT と要約レベルの RL 学習を組み合わせることで、特に自然さと重複削減の面で顕著な性能向上が達成された。