[論文レビュー] Towards a Neural Network Approach to Abstractive Multi-Document Summarization

Jianmin Zhang, Jiwei Tan+1 more|arXiv (Cornell University)|Apr 24, 2018

Topic Modeling参考文献 27被引用数 27

ひとこと要約

本稿では、少量のMDSデータを用いた微調整によって、事前学習済みのニューラル抽象的要約モデルを多文書要約（MDS）に適用する、新しい転移学習アプローチを提案する。単文書抽象的モデルに文書集合エンコーダーと3つの適応戦略を追加することで、DUCベンチマークで最先端の性能を達成し、ROUGEおよび人間評価指標において複数のニューラルベースラインを上回った。

ABSTRACT

Till now, neural abstractive summarization methods have achieved great success for single document summarization (SDS). However, due to the lack of large scale multi-document summaries, such methods can be hardly applied to multi-document summarization (MDS). In this paper, we investigate neural abstractive methods for MDS by adapting a state-of-the-art neural abstractive summarization model for SDS. We propose an approach to extend the neural abstractive model trained on large scale SDS data to the MDS task. Our approach only makes use of a small number of multi-document summaries for fine tuning. Experimental results on two benchmark DUC datasets demonstrate that our approach can outperform a variety of baseline neural models.

研究の動機と目的

• 大規模な多文書要約データの不足という課題に対処し、MDSのエンドツーエンド学習が困難なニューラル抽象的モデルの訓練を可能にする。
• ドメインおよびデータ分布のズレがあるにもかかわらず、事前学習済みの単文書抽象的モデルがMDSタスクに効果的に適応可能かどうかを検証する。
• 少量のMDSアノテーションを用いた微調整戦略と文書集合エンコーダーを組み合わせることで、転送性を向上させるフレームワークを提案する。
• 標準的なDUCベンチマークデータセット上で提案手法の有効性を評価し、複数のニューラル抽象的および抽出的ベースラインと比較する。

提案手法

• 複数の入力文書を統一された文脈表現に集約する文書集合エンコーダーを導入することで、単文書要約用に事前学習されたシーケンス・ツー・シーケンス抽象的要約モデルを多文書設定に適応する。
• 3つの適応戦略を導入する：(1) 小さなMDSデータセット上でモデル全体を微調整する、(2) エンコーダーを固定し、デコーダーのみを微調整する、(3) 要約生成時に複数文書の内容とより良い対応をとるために階層的アテンション機構を用いる。
• エンコーダーが文書集合内の各文書を別々に処理し、その後その表現を統合してデコーダーに供給する階層的エンコーダー・デコーダー構造を採用する。
• 要約生成中に複数の文書にまたがる関連文を動的に注目するため、アテンション機構を活用する。
• 大規模な単文書要約の事前学習設定から得た重みで初期化することで、転移学習を活用する。
• 過学習を防ぐために、バリデーションのROUGEスコアに基づいて早期停止とモデル選択を実施する。

実験結果

リサーチクエスチョン

• RQ1 データ不足の状況下でも、単文書要約用に事前学習されたニューラル抽象的要約モデルが、多文書要約タスクに効果的に転送可能かどうか。
• RQ2 単文書から多文書要約への転送性能を向上させるために、どのようなアーキテクチャ的およびトレーニング上の変更が必要か。
• RQ3 少量の多文書要約を用いた微調整が、事前学習済みの抽象的モデルの性能向上にどの程度有効か。
• RQ4 文書集合エンコーダーが文書間の一貫性および情報統合をどのようにモデル化しているか。
• RQ5 自動評価および人間評価指標において、本手法は抽出的およびニューラル抽象的ベースラインと比べてどの程度優れているか。

主な発見

• 提案手法はDUC 2002テストセットでROUGE-1が34.0、ROUGE-Lが11.4を達成し、すべてのベースラインモデルを上回った。
• DUC 2004データセットでは、ROUGE-1が36.7、ROUGE-Lが12.4を記録し、ベースラインより一貫して優れた性能を示した。
• 人間評価では、一貫性が3.76、重複性が3.92、読みやすさが4.08と、他の抽象的手法よりも顕著に高いスコアを記録した。
• アブレーションスタディにより、文書集合エンコーダーとMDSデータを用いた微調整が性能向上に不可欠であることが確認された。
• モデルは、複数のソース文書から重要な情報を的確に抽出し、流暢で一貫性があり、重複のない要約を生成した。
• ケーススタディでは、モデルが要約の核心的内容を反映した、簡潔で情報量が多く、構造が明確な要約を生成できることを示した。