[論文レビュー] Adapting the Neural Encoder-Decoder Framework from Single to Multi-Document Summarization

Logan Lebanoff, Kaiqiang Song+1 more|arXiv (Cornell University)|Aug 19, 2018

Topic Modeling参考文献 54被引用数 12

ひとこと要約

本稿では、追加の学習データを必要とせずに、事前学習済みの要約生成エンコーダーデコーダーモデル（特にPointer-Generatorネットワーク）を多文書要約（MDS）に特化した新しい手法、PG-MMRを提案する。この手法は、連結された多文書入力を用いて最大限の関連性（MMR）を用いて重要文を抽出し、その後、モデルのアテンション機構を変更してこれらの文を優先的に処理することで、重複を低減し要約の質を向上させる。本手法は標準的なMDSベンチマークで最先端の性能を達成し、自動評価指標および人間評価において、抽出的および要約的ベースラインを上回っている。

ABSTRACT

Generating a text abstract from a set of documents remains a challenging task. The neural encoder-decoder framework has recently been exploited to summarize single documents, but its success can in part be attributed to the availability of large parallel data automatically acquired from the Web. In contrast, parallel data for multi-document summarization are scarce and costly to obtain. There is a pressing need to adapt an encoder-decoder model trained on single-document summarization data to work with multiple-document input. In this paper, we present an initial investigation into a novel adaptation method. It exploits the maximal marginal relevance method to select representative sentences from multi-document input, and leverages an abstractive encoder-decoder model to fuse disparate sentences to an abstractive summary. The adaptation method is robust and itself requires no training data. Our system compares favorably to state-of-the-art extractive and abstractive approaches judged by automatic metrics and human assessors.

研究の動機と目的

• 多文書要約（MDS）のための大規模な並列学習データの不足により、ニューラルエンコーダーデコーダーモデルの直接的学習が困難であるという問題に対処すること。
• 単一文書データで学習済みの既存の要約的要約モデルを、テスト時における多文書入力に対応できるように適応させること。
• モデルの再学習を伴わず、多文書入力における重要で多様な内容に焦点を当て、重複を低減すること。
• 抽出的文選択と要約的生成を組み合わせた、軽量でデータ効率の良いMDS用の手法を開発すること。
• 自動評価指標と人間評価の両方を用いて、提案手法が最先端の抽出的および要約的MDSシステムを上回ることを評価すること。

提案手法

• 本手法は、すべての入力文書を1つのテキストシーケンスに連結することで「メガドキュメント」を構築する。
• 最大限の関連性（MMR）アルゴリズムを用いて、関連性と多様性に基づき、代表的で重複のない文の集合をメガドキュメントから特定する。
• ポインタジェネレータ（PG）モデルのアテンション機構を動的に変更し、要約生成中にMMRで選択された文を優先的に注目するようにする。
• 各要約文が生成される度に、すでに使用済みまたは類似度の高い文への注目確率を低下させることで、重複を抑制する。
• 繰り返し新しい文を選択し、アテンション重みを更新することで、モデルがキーメッセージを一貫性のある要約として統合できるようにする。
• 本手法は、微調整や追加のMDS学習データを一切必要とせず、事前学習済みのPGモデルとMMRによる選択に依存する。

実験結果

リサーチクエスチョン

• RQ1 MDSデータでの微調整なしに、事前学習済みの要約的要約モデルを多文書要約に効果的に適応できるか？
• RQ2 多文書入力から重要で多様な内容を抽出し、要約的生成を導くにはどうすればよいか？
• RQ3 MMRに基づく文選択は、多文書入力の要約における情報量の増加と重複の低減に寄与するか？
• RQ4 提案手法は、自動評価指標および人間評価の両方において、既存の抽出的および要約的MDSシステムを上回るか？
• RQ5 抽象化と文の統合を可能にしつつ、意味的コンテンツをどの程度保持できるか？

主な発見

• PG-MMRは、LexRank や抽出的モデルなどの強力な抽出的ベースラインを、自動評価指標および人間評価の両方で上回った。
• 人間評価では、PG-MMRの要約が全体の質で1位または2位と評価され、情報量と非重複性の点で最高得点を記録した。
• 標準的なMDSデータセットにおいて、ベースラインのPGモデルに比べてROUGEスコアで顕著な向上を示し、多文書入力の要約における有効性を実証した。
• 抽出的文選択に依存しているにもかかわらず、PG-MMRは高い抽象化度を示した—要約文の41%が入力に直接存在しないことから、強力な統合と言い換え能力が裏付けられた。
• 本システムは、多様なMDSテストセットにおいても安定した性能を示し、MDS固有の学習データを一切必要としない。
• 抽出的度はPG-Originalモデルよりわずかに高い（非ソース文41% 対 52%）が、要約はより情報量が多く、重複が少なく、より優れた内容選択と統合能力を示した。