[論文レビュー] APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning

Yang Gao, Christian M. Meyer+1 more|arXiv (Cornell University)|Aug 29, 2018

Topic Modeling参考文献 27被引用数 6

ひとこと要約

APRILは、参照要約が不要な抽出的複数文書要約を実行するために、アクティブな好み学習と強化学習を組み合わせた画期的なインタラクティブ学習フレームワークを提案する。プロセスをアクティブな好み学習フェーズと強化学習フェーズに分離することで、サンプルの複雑さを低減し、シミュレーションおよび人間評価の両方で既存の手法を著しく上回り、ユーザーは常にSPPIの要約よりもAPRILが生成する要約を好む。

ABSTRACT

We propose a method to perform automatic document summarisation without using reference summaries. Instead, our method interactively learns from users' preferences. The merit of preference-based interactive summarisation is that preferences are easier for users to provide than reference summaries. Existing preference-based interactive learning methods suffer from high sample complexity, i.e. they need to interact with the oracle for many rounds in order to converge. In this work, we propose a new objective function, which enables us to leverage active learning, preference learning and reinforcement learning techniques in order to reduce the sample complexity. Both simulation and real-user experiments suggest that our method significantly advances the state of the art. Our source code is freely available at https://github.com/UKPLab/emnlp2018-april.

研究の動機と目的

• 自然言語処理における好みベースのインタラクティブ学習の高いサンプル複雑さに対処すること。特に、文書要約に対して。
• 高価な参照要約に依存しないように、直接ユーザーの好みから学習すること。
• アクティブな好み学習と強化学習のフェーズを分離する新しい目的関数を通じて、インタラクティブ要約の効率性と頑健性を向上させること。
• シミュレーションおよび実際のユーザー環境の両方でフレームワークを評価し、SPPIのような既存の手法を上回ることを示すこと。
• 最小限の人的インタラクションで実用的なインタラクティブ要約システムの導入を可能にすること。

提案手法

• APRILは、学習プロセスを二段階に分ける新しい目的関数を導入する：アクティブな好み学習（APL）フェーズと強化学習（RL）フェーズ。
• APLフェーズでは、システムがユーザー比較に最も情報量の多い文のペアを能動的に選択し、必要な好みクエリの数を最小限に抑える。
• RLフェーズでは、収集された好みをスパarsな報酬として用い、長さ制約下での要約品質最適化を目的とした要約ポリシーを学習する。
• フレームワークは、さまざまなAPLおよびRL技術の統合をサポートしており、柔軟で効率的な学習を可能にする。
• APRILはROUGEスコアではなくランクベースの報酬メカニズムを用いるため、ニューラル強化学習モデルと互換性がある。
• システムは、ノイズレベルが異なるシミュレーテッドオラクルと、制御された比較実験における実際の人間ユーザーの両方を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 参照要約が存在しない抽出的複数文書要約において、好みベースのインタラクティブ学習フレームワークはサンプル複雑さを低減できるか？
• RQ2 アクティブな好み学習と強化学習を分離することで、学習の効率性と頑健性はどのように向上するか？
• RQ3 APRILは自動評価指標および人間評価の両方で、最先端のSPPIフレームワークを上回ることができるか？
• RQ4 ユーザーのフィードバックがノイズや不正確さを含んでも、APRILはどの程度の性能を維持できるか？
• RQ5 実際のユーザーは、既存のインタラクティブシステムの要約と比較して、APRILが生成する要約をどの程度好むか？

主な発見

• シミュレーション実験では、APRILはわずか10ラウンドの相互作用で、高ノイズのオラクルに対してもSPPIよりも顕著に高い要約品質を達成した。
• 人間評価では、DUCデータセットの3つの異なるトピックから得た要約について、7名の全ユーザーがAPRILが生成する要約をSPPIの要約よりも好んだ。
• 5段階リッカートスケールでAPRILが生成する要約は一貫して高い評価を得ており、実際のユーザー環境における優れた品質を確認した。
• フレームワークは強いノイズ耐性を示し、ユーザーのフィードバックに誤りや一貫性の欠如があっても、高い性能を維持した。
• APLとRLフェーズの分離により、より効果的なクエリ選択と報酬の効率的利用が可能になり、必要な相互作用の回数が削減された。
• APRILはDUC’04のROUGE-2の上限値.212を上回り、理論的な最大値に著しく近づいた。