[論文レビュー] Preference-based Interactive Multi-Document Summarisation

Yang Gao, Christian M. Meyer+1 more|TUbilio (Technical University of Darmstadt)|Jun 7, 2019

Topic Modeling参考文献 38被引用数 6

ひとこと要約

本稿では、アクティブな好み学習とニューラル強化学習を組み合わせることで、ユーザーのインタラクションラウンドを削減する、好みベースのインタラクティブな複数文書要約フレームワーク、APRILを提案する。ユーザーが好みを信頼性高く提供できることを示し、わずか10ラウンドのインタラクションで、非インタラクティブおよび既存のインタラクティブベースラインを上回る、より高品質な要約を生成することに成功した。

ABSTRACT

Interactive NLP is a promising paradigm to close the gap between automatic NLP systems and the human upper bound. Preference-based interactive learning has been successfully applied, but the existing methods require several thousand interaction rounds even in simulations with perfect user feedback. In this paper, we study preference-based interactive summarisation. To reduce the number of interaction rounds, we propose the Active Preference-based ReInforcement Learning (APRIL) framework. APRIL uses Active Learning to query the user, Preference Learning to learn a summary ranking function from the preferences, and neural Reinforcement Learning to efficiently search for the (near-)optimal summary. Our results show that users can easily provide reliable preferences over summaries and that APRIL outperforms the state-of-the-art preference-based interactive method in both simulation and real-user experiments.

研究の動機と目的

• ユーザーがインタラクティブな要約において、要約の好みフィードバックを信頼性高く提供できるかどうかを調査すること。
• 要約のような主観的なタスクにおける、好みベース学習の高いサンプル複雑性を解決すること。
• 高品質でユーザーに適合した要約を生成するために必要なユーザーインタラクションラウンド数を削減すること。
• ユーザーの好みを効率的に学習し、それらを要約生成の指針に活用するフレームワークを開発すること。
• シミュレーションおよび実ユーザー環境での評価を通じて、フレームワークの頑健性と使いやすさを検証すること。

提案手法

• APRILは、インタラクティブな学習プロセスを2段階に分割する：好み学習と強化学習。
• 効率的なユーザー照会を実現するため、アクティブ好み学習（APL）が用いられ、各好みからの情報量を最大化する。
• 好み学習モデルは、二項比較に基づいて、ユーザーの候補要約の順位付けを推定する。
• ニューラル強化学習エージェントは、学習された報酬関数を用いて、近似的に最適な要約を探索する。
• シミュレーションでの結果検証のため、実ユーザー研究データに基づくシミュレーテッドユーザーモデル（LNO）が使用される。
• 標準的な複数文書要約ベンチマークを用い、シミュレーションおよび実ユーザー実験の両方でシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな要約設定において、ユーザーは要約の好みフィードバックを信頼性高く一貫して提供できるか？
• RQ2 絶対的スコアやビグラムと比較して、好みフィードバックの質はどのように異なるか？
• RQ3 好みベースのインタラクティブシステムは、要約品質を維持または向上させながら、必要なインタラクションラウンド数を削減できるか？
• RQ4 APRILフレームワークは、要約品質およびユーザーインタラクションコストの面で、最先端のSPPI手法と比較してどのように異なるか？
• RQ5 シミュレーテッドユーザーモデル（LNO）は、実ユーザーの好みをどの程度正確に反映しているか？

主な発見

• ユーザーは、要約の品質差が大きい場合、ビグラムなどの他のフィードバックタイプと比較して、好みベースのフィードバックがより簡単で信頼性が高いと感じた。
• 実ユーザー実験では、APRILが生成した要約は、82%のケース（d100e）および75%のケース（d068f）でユーザーに好まれ、SPPIを著しく上回った。
• クラスタd100eでは、APRILの平均要約品質評価が5段階スケールで4.0であったのに対し、SPPIは2.5であった。これは統計的に有意な優位性を示した。
• シミュレーテッドユーザーモデル（LNO）は、実ユーザーの好みと高いピアソン相関（0.974、p = 0.145）を示し、シミュレーションでの使用の妥当性が裏付けられた。
• わずか10ラウンドのインタラクションで、APRILは非インタラクティブ手法およびSPPIベースラインを上回る、より高品質な要約を生成した。
• APRILは、ユーザーの読解負荷をSPPIのほぼ半分にまで削減した。SPPIがNラウンドごとに2N個の要約を必要としたのに対し、APRILはN+1個の要約で十分であった。