[論文レビュー] PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies

Andy Su, Difei Su+2 more|arXiv (Cornell University)|May 18, 2021

Topic Modeling参考文献 32被引用数 4

ひとこと要約

PoBRLは、強化学習を用いて重要性、関連性、長さの3つの目的に多文書要約を分解することで、新たな強化学習フレームワークを提案する。各目的に対して別々のポリシーを学習し、それらをブレンドすることで要約品質を向上させる。Multi-NewsおよびDUC-04データセットにおいて、最先端のROUGEスコアと優れた人間評価結果を達成し、ポリシーのブレンドによって冗長性が低減され、要約の整合性が向上していることが示された。

ABSTRACT

We propose a novel reinforcement learning based framework PoBRL for solving multi-document summarization. PoBRL jointly optimizes over the following three objectives necessary for a high-quality summary: importance, relevance, and length. Our strategy decouples this multi-objective optimization into different subproblems that can be solved individually by reinforcement learning. Utilizing PoBRL, we then blend each learned policies together to produce a summary that is a concise and complete representation of the original input. Our empirical analysis shows state-of-the-art performance on several multi-document datasets. Human evaluation also shows that our method produces high-quality output.

研究の動機と目的

• 複数の重複するドキュメントから、要約が短く、冗長性がなく、包括的な要約を生成する課題に対処すること。
• 重要性、関連性（冗長性低減）、長さの3つの要約の目的を、分離された強化学習アプローチにより同時に最適化すること。
• MMRのようなグリーディーまたは局所最適な手法に代わり、ポリシーのブレンドによるグローバル最適化を可能にすること。
• 入力ドキュメント数の変動にかかわらず高い性能を維持するスケーラブルで効果的なフレームワークを開発すること。

提案手法

• 多文書要約を3つの独立した部分問題に分解する：文の重要性、関連性（冗長性最小化）、要約長の制御。
• 環境固有の報酬関数を用いて、各目的ごとに別々の強化学習ポリシーを学習する。
• アドバンテージ関数から導出される学習可能なλ係数を用いた動的ブレンド戦略を採用する。
• ポリシーの学習およびブレンドの過程で、関連性と冗長性のバランスを取るためにMMRを指針として用いる。
• 階層的なドキュメント構造を活用して、ポリシーの一般化能力と文の表現を向上させる。
• 冗長性の測定および要約品質の評価に、ROUGE-LおよびBERTベースのコサイン類似度を適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチオブジェクティブ強化学習フレームワークは、単一ポリシー手法に比べ、多文書要約における重要性、関連性、長さの最適化をより効果的に行えるか？
• RQ2 ポリシーのブレンドは、単一のRLポリシーを使用する場合に比べ、要約品質をどのように向上させるか？
• RQ3 提案手法は、入力ドキュメント数が多様な状況下でも、顕著な情報を保持しながらどれほど冗長性を低減できるか？
• RQ4 アドバンテージ関数に基づく適応的λ係数は、固定λ値に比べてポリシーのブレンドにおいてどのように優れているか？
• RQ5 入力ドキュメント数の変動にかかわらず、フレームワークは一貫した性能を維持できるか？

主な発見

• DUC-04データセットにおいて、PoBRLは38.67の最先端のROUGE-L F1スコアを達成し、RL w/o Blend（36.95）およびOCCAMS_V（38.50）を上回った。
• Multi-Newsデータセットでは、λ=0.9のときROUGE-L F1が38.13、適応的λを用いると38.67に上昇し、ベースラインモデルを顕著に上回った。
• ROUGE-Lオーバーラップにおいて冗長性が91.6％低減（0.19 vs. 2.28）され、BERTベースのコサイン類似度が上昇（12.73 vs. 12.49）したことで、文レベルの繰り返しが減少していることが示された。
• 人間評価では、PoBRLは非冗長性で平均4.68、文法性で平均4.28の最高得点を記録し、CopyTransformer、Hi-Map、MatchSumを上回った。
• 入力ドキュメント数が2から9にわたる範囲で一貫した性能を維持しており、入力サイズの変動に対して強いことが示された。
• 単一ポリシーRL（36.95 → 38.67 ROUGE-1）に比べ、ポリシーのブレンドが顕著に性能向上をもたらした。これは、専用のポリシーを組み合わせることの有効性を確認するものである。