[論文レビュー] Generating Query Focused Summaries from Query-Free Resources

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 41被引用数 4

ひとこと要約

この論文では、質問関連リソースを必要とせず、一般要約データを活用する弱教師付きフレームワークMargeを提案する。要約を代理質問に変換する統一されたマスク表現を用いることで、Margeは証拠ランク付けのための質問モデルを学習し、一貫性があり質問に制御可能な要約を生成する。弱教師付きであるにもかかわらず、複数のQFSベンチマークで最先端の性能を達成している。

ABSTRACT

The availability of large-scale datasets has driven the development of neural models that create generic summaries from single or multiple documents. In this work we consider query focused summarization (QFS), a task for which training data in the form of queries, documents, and summaries is not readily available. We propose to decompose QFS into (1) query modeling (i.e., finding supportive evidence within a set of documents for a query) and (2) conditional language modeling (i.e., summary generation). We introduce MaRGE, a Masked ROUGE Regression framework for evidence estimation and ranking which relies on a unified representation for summaries and queries, so that summaries in generic data can be converted into proxy queries for learning a query model. Experiments across QFS benchmarks and query types show that our model achieves state-of-the-art performance despite learning from weak supervision.

研究の動機と目的

• 質問焦点型要約（QFS）のための訓練データの不足に取り組む。通常、QFSは容易に入手できない質問-文書-要約の三つ組を必要とする。
• 質問-回答やパラフレーズデータセットに依存せずに質問モデルの訓練を可能にし、データ依存性とコストを低減する。
• 要約と質問のための統一表現を構築し、一般要約データをQFSに再利用可能にする。
• 弱教師付きでも一貫性があり、質問に関連した短い要約を生成する。
• 質問関連リソースにアクセスできない状況でも、一般要約データセットのみを用いてQFSで最先端の性能を達成する。

提案手法

• 要約と質問のための統一されたマスク表現を用いる、証拠推定とランク付けのためのマスクROUGE回帰フレームワーク「Marge」を提案する。
• 一般要約データセットからの要約を、マスク表現を介して代理質問に変換することで、質問モデリングの弱教師付き学習を可能にする。
• QFSを2段階に分解する：(1) Margeを用いた証拠ランク付けによる質問モデリング、(2) 選択された証拠に条件づけられた条件付き抽象的生成。
• 要約と質問の埋め込み空間における整合性を図るため、統一されたマスク表現（UMR）を用いる。
• ランク付け済み文の証拠を用いて、長さと質問関連性を制御した抽象的要約を生成するように生成器を訓練する。
• 両方のモデル（質問モデルと生成器）に、一般要約データで微調整された事前学習モデル（例：BART）を活用する。

実験結果

リサーチクエスチョン

• RQ1 質問関連リソースにアクセスできない状況でも、一般要約データを効果的に再利用して質問焦点型要約システムを訓練できるか？
• RQ2 要約と質問のための統一表現が、QFSにおける質問モデリングの弱教師付き学習を可能にするか？
• RQ3 2段階フレームワーク（証拠ランク付け → 抽象的生成）は、反復的または抽出的ベースラインと比較して、より一貫性があり関連性の高い要約を生成できるか？
• RQ4 一般要約データセットのみで訓練されたモデルが、多様なドメインや質問タイプにおいてQFSで最先端の性能を達成できるか？
• RQ5 QAデータセットからの間接的教師付き学習で訓練されたモデルと比較して、生成された要約の一貫性と関連性はどのように異なるか？

主な発見

• Margeは、DUCやTD-QFSを含む複数のベンチマークで、一般要約データのみを用いても、証拠ランク付けおよび抽象的QFSの両面で最先端の性能を達成している。
• 人的評価では、MargeSum-CdはPQSum-Wslと同等の関連性と要約の簡潔さを示し、文の再配置によって生じる一貫性の欠如を示すPQSum-Wsl や QuerySum よりも著しく一貫性が高い。
• MargeSum-Cdは、TD-QFSで関連性（4.55 vs. 3.63）でUniLM-Cdを上回り、一貫性（4.37 vs. 4.28）も高い水準を維持しており、統一表現とエンドツーエンド生成の有効性を示している。
• DUCでは人間評価の関連性スコアが2.91、TD-QFSでは4.55を記録し、UniLM-Cd（3.63）を大きく上回り、TD-QFSではゴールドスタンダードの関連性（4.70）に近づいている。
• 要約から導出された代理質問の使用により、QAやパラフレーズデータセットにアクセスできない状況でも、効果的な弱教師付き学習が可能となり、質問関連の証拠ランク付けを学習できる。
• 抽象的生成フレームワークは、一括処理で長く一貫性のある要約を生成し、反復的・抽出的・抽象的パイプラインで一般的に見られる一貫性の欠如を回避している。