[論文レビュー] Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models

Tal Baumel, Matan Eyal+1 more|arXiv (Cornell University)|Jan 23, 2018

Topic Modeling被引用数 51

ひとこと要約

本論文は、クエリ重視のマルチ文書要約のための関連性を考慮した事前学習済み抽象的 seq2seq モデルの拡張として RSA-QFS を提案し、再訓練なしで長い出力と反復的なマルチ文書処理を可能にするとともに、ROUGE が抽出ベースラインを上回ることを示す。

ABSTRACT

Query Focused Summarization (QFS) has been addressed mostly using extractive\nmethods. Such methods, however, produce text which suffers from low coherence.\nWe investigate how abstractive methods can be applied to QFS, to overcome such\nlimitations. Recent developments in neural-attention based sequence-to-sequence\nmodels have led to state-of-the-art results on the task of abstractive generic\nsingle document summarization. Such models are trained in an end to end method\non large amounts of training data. We address three aspects to make abstractive\nsummarization applicable to QFS: (a)since there is no training data, we\nincorporate query relevance into a pre-trained abstractive model; (b) since\nexisting abstractive models are trained in a single-document setting, we design\nan iterated method to embed abstractive models within the multi-document\nrequirement of QFS; (c) the abstractive models we adapt are trained to generate\ntext of specific length (about 100 words), while we aim at generating output of\na different size (about 250 words); we design a way to adapt the target size of\nthe generated summaries to a given size ratio. We compare our method (Relevance\nSensitive Attention for QFS) to extractive baselines and with various ways to\ncombine abstractive models on the DUC QFS datasets and demonstrate solid\nimprovements on ROUGE performance.\n

研究の動機と目的

• DUC データセットにおける抽出法の一貫性の問題を克服するための QFS の抽象的アプローチを動機づける。
• 追加の訓練なしに、事前学習済みの単一文書抽象モデルをマルチ文書 QFS に適用する。
• デコーディング過程に明示的なクエリ関連性を組み込み、出力長をターゲット予算に適合させる。
• 複数ソースからのより長い要約（約250語）を生成する反復的マルチ文書生成スキームを開発する。

提案手法

• 事前学習済みのポインタジェネレーター（coverage付き）を基礎抽象モデルとして使用する。
• 再訓練なしに、デコーディング時に単語レベルのアテンションスコアを文レベルの関連性で乗算してクエリ関連性を取り入れる。
• 関連性シグナル（語数、TF-IDF、word2vec）とオラクル上限を探り、潜在的な利得を評価する。
• 正規化前のソフトマックスアテンションを安定化させるために関連スコアを調整する（コサイン類似度を10倍にスケール）。
• 250語の予算に達するまで一貫したセグメントを連結する、反復的で長出力のマルチ文書要約アルゴリズムを開発する。冗長性フィルタリングを実装。

実験結果

リサーチクエスチョン

• RQ1 訓練を再実施せずに、事前学習済み抽象モデルの関連認識型アテンションは QFS を改善できるか？
• RQ2 反復的生成を通じてマルチ文書入力を埋め込むことは QFS の網羅性と一貫性を改善するか？
• RQ3 異なる関連性シグナル（語数、TF-IDF、word2vec）は QFS の性能にどう影響するか？
• RQ4 Oracle モデルを用いた QFS における関連性の上限潜在性は、抽出ベースラインと比較してどうか？

主な発見

• RSA-QFS は、フィルタ済み入力ベースラインおよび未修正の BlackBox モデルに比べ、DUC 2005–2007 QFS データセットで ROUGE スコアを著しく向上させる。
• Word Count の関連性は測定されたシグナルの中で最も強い ROUGE 力を提供し、Word2Vec がそれに近い；TF-IDF はこの設定であまり良くなかった。
• 反復的なマルチ文書 RSA-QFS（オラクル関連性モデルを用いる）は、SU4 指標で最先端の抽出 CES と競合する、時には上回る ROUGE 結果を達成する。
• オラクル関連性モデルは substantial gains potential を示し、より強力な関連推定器の余地を示唆している。
• 抽象的 QFS 出力はかなりの抽象性を示し（入力から約1/3の文がコピーされる程度）、読みやすさと一貫した構 content を維持している。
• アプローチは事前学習済みモデルのパラメータの大部分を保持し、再訓練を必要とせず、デコード時に関連性の調整を適用する。