[論文レビュー] Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models

Tal Baumel, Matan Eyal+1 more|arXiv (Cornell University)|Jan 23, 2018

Topic Modeling参考文献 18被引用数 67

ひとこと要約

本論文はRSA-QFSを提案する。これは、事前学習済みの抽象的 seq2seq モデルにクエリ関連性を注入して、クエリ中心のマルチドキュメント要約を実現する方法であり、反復的なマルチドキュメントアプローチと長さ適応を用いて、追加の訓練なしに抽出型ベースラインと競合する ROUGE 指標を達成する。

ABSTRACT

Query Focused Summarization (QFS) has been addressed mostly using extractive methods. Such methods, however, produce text which suffers from low coherence. We investigate how abstractive methods can be applied to QFS, to overcome such limitations. Recent developments in neural-attention based sequence-to-sequence models have led to state-of-the-art results on the task of abstractive generic single document summarization. Such models are trained in an end to end method on large amounts of training data. We address three aspects to make abstractive summarization applicable to QFS: (a)since there is no training data, we incorporate query relevance into a pre-trained abstractive model; (b) since existing abstractive models are trained in a single-document setting, we design an iterated method to embed abstractive models within the multi-document requirement of QFS; (c) the abstractive models we adapt are trained to generate text of specific length (about 100 words), while we aim at generating output of a different size (about 250 words); we design a way to adapt the target size of the generated summaries to a given size ratio. We compare our method (Relevance Sensitive Attention for QFS) to extractive baselines and with various ways to combine abstractive models on the DUC QFS datasets and demonstrate solid improvements on ROUGE performance.

研究の動機と目的

• 抽出型手法よりも一貫性を向上させるために、クエリ中心の要約（QFS）に対する抽象的手法の動機付け。
• 再訓練なしで、単一文書用に事前学習された抽象的モデルをマルチドキュメントQFS設定に適応させる。
• 注意機構に明示的なクエリ関連性を組み込み、生成を導く。
• 約250語程度の長い出力を生成するための、反復的なマルチドキュメント要約手順を開発する。
• 抽出型ベースラインと比較して評価し、関連性品質が性能へ与える影響を分析する。

提案手法

• カバレッジを備えた事前学習済みの pointer-generator を基本抽象モデルとして使用する。
• ソフトマックス前に正規化されていない注意スコアを文/語の関連スコア（Rel_i）と乗算して、注意機構に関連性を組み込む。
• ソフトマックスのスケールを維持するために関連性スコアを校正する（コサイン類似度を10倍する）。
• 関連性モデル（語数、TF-IDF、Word2vec）と、正解要約に基づくOracle上限を探索する。
• クエリへTF-IDF関連性で関連文書を選択し、250語の予算に達するまで抽象的出力を統合する反復アルゴリズムを実装し、冗長な文を除去する。

実験結果

リサーチクエスチョン

• RQ1 関連性認識付き抽象的モデルは、素朴なフィルタリングやブラックボックス抽象モデルよりもQFSを改善できるか。
• RQ2 注意機構へ関連性を注入することで、入力文のフィルタリングよりも一貫性と関連性が向上するか。
• RQ3 関連性モデルの品質は、単一文書および複数文書入力に対するRSA-QFSの性能にどのように影響するか。
• RQ4 反復的なマルチドキュメントRSA-QFSアプローチは、抽出型QFSベースラインと同等の長く一貫した要約を生成できるか。
• RQ5 抽出法と比較した場合のRSA-QFSの潜在的な上限（Oracle関連性）はどの程度か。

主な発見

• RSA-QFSは、単一文書のケースで、Filteredベースラインに対してDUC 2005–2007データセット全体でROUGEを大幅に改善する。
• 語数関連性モデルは、試験した関連性手法の中で最も良い単一文書ROUGEの改善を提供する。Word2vecはこれに近く、TF-IDFは劣る。
• 最先端の抽出法（CES）と比較して、Iterative RSA Word CountとIterative RSA Oracleは競争力のあるROUGEスコアを達成し、Oracleは大幅な上限の向上を示す。
• Debatepediaでは、RSA-QFSは読みやすい要約を生成し、データセットの違いにもかかわらず、領域エンドツーエンドモデルよりリコールROUGEが高い。
• 生成された文の約3分の1程度が入力からの直接のコピーではなく、真の抽象的挙動を示している。ただし、反復版の一貫性には改善が必要。