[論文レビュー] Reinforced Extractive Summarization with Question-Focused Rewards

Kristjan Arumae, Fei Liu|arXiv (Cornell University)|May 25, 2018

Topic Modeling参考文献 32被引用数 6

ひとこと要約

本稿では、人間の要約文をCloze形式の質問に変換することで、一貫性があり、簡潔で、事実に忠実な要約を学習する強化学習ベースの抽出要約フレームワークを提案する。質問・回答の性能と要約文との語彙的類似度を最適化することで、標準ベンチマークにおいて最先端のモデルを上回り、事実の整合性と要約の質が向上していることを示している。

ABSTRACT

We investigate a new training paradigm for extractive summarization. Traditionally, human abstracts are used to derive goldstandard labels for extraction units. However, the labels are often inaccurate, because human abstracts and source documents cannot be easily aligned at the word level. In this paper we convert human abstracts to a set of Cloze-style comprehension questions. System summaries are encouraged to preserve salient source content useful for answering questions and share common words with the abstracts. We use reinforcement learning to explore the space of possible extractive summaries and introduce a question-focused reward function to promote concise, fluent, and informative summaries. Our experiments show that the proposed method is effective. It surpasses state-of-the-art systems on the standard summarization dataset.

研究の動機と目的

• 従来の抽出要約手法が不完全な人間の要約文を教師信号として用いるという限界を是正すること。
• 人間の要約文から導出されたCloze形式の質問と一致させることで、抽出要約の事実の整合性と自然さを向上させること。
• 標準的なラベルベースの教師信号と比較して、質問・回答の教師信号が、重要コンテンツの選択をより効果的に指導できるかどうかを検証すること。
• エンティティベースとキーワードベースの異なる質問生成戦略が、要約およびQA性能に与える影響を評価すること。
• 要約が質問の回答に役立つ内容を保持しつつ、要約文との語彙的類似度を維持する訓練パラダイムを構築すること。

提案手法

• 要約文の重要なエンティティやキーワードを空白に置き換えることで、人間の要約文をCloze形式の質問に変換する。
• ポインタジェネレータネットワークを備えた系列変換モデルを用いて、元のドキュメントから抽出要約を生成する。
• 要約のセグメントと関連する質問をアライメントさせるためのアテンション機構を採用し、マルチホップ推論を可能にする。
• 自然さ、要約文との語彙的類似度、QA性能を組み合わせた質問中心の報酬関数を設計し、強化学習をガイドする。
• 複数の質問・回答ペアにわたる期待報酬を最大化するように、ポリシー勾配法（例：REINFORCE）を用いてモデルを訓練する。
• エンティティベースとキーワードベースの両方の回答を用いて多様なQAペアを作成し、それらが訓練に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の要約文から導出されたCloze形式の質問を用いて抽出要約モデルを訓練することで、より正確で忠実な要約が得られるか？
• RQ2 エンティティベースとキーワードベースの質問生成の選択が、要約およびQA性能にどのように影響するか？
• RQ3 質問・回答の目的関数を組み込むことで、標準的な教師信号と比較して、抽出要約の事実の整合性と情報量が向上するか？
• RQ4 報酬関数に含めるドキュメントごとのQAペアの最適な数は何か？
• RQ5 QA性能を最適化して訓練された要約は、推論時に質問が利用可能でない状況でも、一般用途の要約のための信頼できるドキュメント代替物として機能できるか？

主な発見

• 提案手法は、標準ベンチマークデータセットにおいて最先端の抽出要約モデルを上回り、優れた事実の整合性と自然さを示している。
• Cloze形式の質問でキーワードベースの回答を使用すると、エンティティベースの回答と比較してより良い一般化性能と、より小さい訓練・検証精度の差が得られた。
• ドキュメントあたりのQAペア数をK=1からK=5に増やすと、回答候補の数（23.7Kから50.3Kに）ほぼ2倍に増加したが、R-2スコアに顕著な向上は見られなかった。
• ドキュメントあたりK=1のQAペアを使用したモデルが、最良のR-2 Fスコアを達成しており、短いドキュメントではより多くの質問が要約の質を向上させない可能性を示している。
• モデルが生成する要約は人間の要約文と意味的に近く、元のテキストに重ね合わせ可能であり、事実の歪み（ホワリゲーション）を伴わずに事実を保持している。
• このフレームワークにより、推論時に質問が利用可能でない場合でも、多様な質問に答えられる有効なドキュメント代替物としての要約の作成が可能になった。