[論文レビュー] Better Rewards Yield Better Summaries: Learning to Summarise Without References

Florian Böhm, Yang Gao+4 more|TUbilio (Technical University of Darmstadt)|Sep 3, 2019

Topic Modeling参考文献 18被引用数 9

ひとこと要約

この論文は、参照要約が不要な強化学習（RL）ベースのドキュメント要約手法を提案している。2,500件の要約について人間の評価を直接学習することで、報酬関数を学習する。文書-要約ペairと人間の判断に基づいてニューラル報酬モデルを訓練することで、ROUGEよりも人間の好みと著しく相関が高く、最先端の教師ありまたはROUGE報酬付きRLシステムが生成する要約よりも人間が高く評価する要約を生成する。

ABSTRACT

Reinforcement Learning (RL) based document summarisation systems yield state-of-the-art performance in terms of ROUGE scores, because they directly use ROUGE as the rewards during training. However, summaries with high ROUGE scores often receive low human judgement. To find a better reward function that can guide RL to generate human-appealing summaries, we learn a reward function from human ratings on 2,500 summaries. Our reward function only takes the document and system summary as input. Hence, once trained, it can be used to train RL-based summarisation systems without using any reference summaries. We show that our learned rewards have significantly higher correlation with human ratings than previous approaches. Human evaluation experiments show that, compared to the state-of-the-art supervised-learning systems and ROUGE-as-rewards RL summarisation systems, the RL systems using our learned rewards during training generate summarieswith higher human ratings. The learned reward function and our source code are available at https://github.com/yg211/summary-reward-no-reference.

研究の動機と目的

• 要約レベルにおけるROUGEと人間の判断の相関が低いことによる、RLベース要約器の誤った誘導を是正する。
• 生成された要約に対する人間の評価から直接学習することで、人間の好みとより高い相関を持つ報酬関数を開発する。
• 参照要約にアクセスできない状況でも、入力として元のドキュメントと生成された要約のみを用いて、RLベース要約器を訓練する。
• 学習された報酬が、抽出的要約と生成的要約の両設定において要約品質を向上させることを示す。

提案手法

• 500編のCNN/DailyMail記事から得た2,500件の要約について人間の評価を用いて、入力が元のドキュメントと生成された要約のみのニューラル報酬モデルを訓練する。
• 多様なテキストエンコーダーとニューラルアーキテクチャを用いて、回帰または好み学習として報酬学習問題を定式化する。
• 学習された報酬関数を用いて、クロス入力および入力固有の設定において、抽出的および生成的RLベース要約器を訓練する。
• 要約の情報量、簡潔さ、文法的適正さ、元ドキュメントへの忠実性について、人間による評価で生成された要約を評価する。
• 学習された報酬で訓練されたRLエージェントの性能を、ROUGEおよび教師ありベースラインで訓練されたエージェントと比較する。
• 完全な評価に代えて、より安価なペアワイズ比較などの好みベースフィードバックを用いることで、効率的な報酬学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間の評価から学習された報酬関数は、要約レベルにおいてROUGEよりも人間の判断とより強く相関するか？
• RQ2 参照要約がなくても、報酬モデルを訓練した場合でも、RLエージェントがより高品質な要約を生成できるか？
• RQ3 人間評価において、学習された報酬で訓練されたRLベース要約器の性能は、最先端の教師ありおよびROUGE報酬付きシステムと比べてどうか？
• RQ4 学習された報酬は、生成された要約の重複をどの程度低減させ、忠実性を向上させるか？

主な発見

• 学習された報酬関数は、ROUGEよりも人間の判断と著しく高い相関を持つ。特に、ROUGEが品質の差を区別できない要約レベルで顕著である。
• 学習された報酬で訓練されたRLベース要約器は、人間評価で2.20のスコアを達成し、ROUGE報酬を使用した場合の1.75（p = 0.0057）を著しく上回る。
• 好みベース評価では、学習された報酬を使用するシステムが75％の比較で好まれた一方、ROUGE報酬ベースラインはたった15％にとどまった。
• 学習された報酬は重複を低減する：ROUGE報酬システムの要約には6件の重複要約があったが、学習された報酬システムではわずか2件にまで減少した。
• この手法は忠実性を向上させ、元のテキストに誤った時系列や出来事に関する主張（幻覚）を減らす。
• 報酬モデルは抽出的要約と生成的要約の両方で一般化可能であり、参照要約が不要な状況でも、両設定で最先端のシステムを上回る性能を発揮する。