[論文レビュー] Towards the Use of Deep Reinforcement Learning with Global Policy For Query-based Extractive Summarisation

Diego Mollá|arXiv (Cornell University)|Nov 10, 2017

Topic Modeling参考文献 8被引用数 4

ひとこと要約

本稿では、ROUGE-Lスコアを最終報酬として用い、要約品質を直接最適化するためのグローバルポリシーを備えた深層強化学習アプローチを提案する。報酬を割引しない方策勾配法を用いて単純なニューラルネットワークポリシーを訓練することで、最終的な要約性能を最大化する文の選択を学習する。シンプルな特徴量と限られた訓練データにもかかわらず、テストデータ上で向上したROUGE-Lスコアを達成した。

ABSTRACT

Supervised approaches for text summarisation suffer from the problem of mismatch between the target labels/scores of individual sentences and the evaluation score of the final summary. Reinforcement learning can solve this problem by providing a learning mechanism that uses the score of the final summary as a guide to determine the decisions made at the time of selection of each sentence. In this paper we present a proof-of-concept approach that applies a policy-gradient algorithm to learn a stochastic policy using an undiscounted reward. The method has been applied to a policy consisting of a simple neural network and simple features. The resulting deep reinforcement learning system is able to learn a global policy and obtain encouraging results.

研究の動機と目的

• 教師付き要約における個々の文ラベル付けと最終要約評価の不一致を解消すること。
• 文ラベルではなく最終要約のROUGE-Lスコアを最適化するエンドツーエンドの訓練を可能にすること。
• 再訓練を伴わずに入力に一般化可能なグローバルポリシーの開発。
• 抽出的要約における深層強化学習フレームワークで直接ROUGE-L報酬を使用する可能性を示すこと。
• 要約にシンプルな特徴量と最小限のニューラルネットワークを用いた強化学習設定の検討。

提案手法

• 環境は文選択中は報酬をゼロとし、最終的に全要約のROUGE-Lスコアを最終報酬として返す。
• 確率的ポリシーは、各文の選択確率を出力する順方向ニューラルネットワークでモデル化される。
• 最終ROUGE-L報酬でスケーリングされた交差エントロピー勾配を用いたREINFORCEアルゴリズムの変種を用いてポリシーを訓練する。
• 訓練中にベルヌーイサンプルの減衰する摂動により探索が促進される。
• 状態の表現には、クエリとの文類似度やTF-IDFなどシンプルな特徴量を用い、位置情報や長さ情報は含まない。
• 訓練後、推論では各文に対して確率が最大の行動が選択され、高速な要約生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 抽出的要約において、ROUGE-Lスコアを直接最適化するグローバルポリシーを深層強化学習モデルが学習できるか？
• RQ2 基本的な特徴量を用いたシンプルなニューラルネットワークポリシーは、高ROUGE-L要約を生成する能力を学習できるか？
• RQ3 最終報酬として実際のROUGE-Lスコアを使用する方が、近似報酬を使用する場合よりも性能向上に寄与するか？
• RQ4 再訓練なしに未観測のクエリやドキュメントに対してもグローバルポリシーが一般化可能か？
• RQ5 状態表現から要約のキーポイント（例：文の位置）を除外した場合、モデルの性能はどのように変化するか？

主な発見

• モデルは、訓練分布を超えて一般化する能力を持つグローバルポリシーを成功裏に学習し、訓練およびテストデータの両方でROUGE-Lスコアが向上した。
• 200,000ステップにわたる訓練プロセスにおいて、平均ROUGE-Lスコアが安定して向上し、テスト性能も同調して上昇した。
• 約200,000ステップを過ぎると過学習の兆候が現れ始め、正則化または早期停止の必要性が示唆された。
• シンプルな特徴量と単純なネットワークを用いても、モデルは前向きな結果を達成し、直接ROUGE-L最適化の実現可能性を示した。
• 予備実験では、状態表現に要約長を追加することで収束速度と最終性能が向上する可能性が示唆された。
• 割引なし報酬と方策勾配法の使用により、代理の文ラベルに依存せずに効果的なエンドツーエンド訓練が可能になった。