[論文レビュー] Abstractive Document Summarization without Parallel Data

Nikola I. Nikolov, Richard H. R. Hahnloser|arXiv (Cornell University)|Jul 30, 2019

Topic Modeling参考文献 28被引用数 5

ひとこと要約

本稿では、平行な記事要約ペairを必要とせず、例示要約と一致しない記事のみを用いて要約を生成する抽象的文書要約システムを提案する。非教師付き文抽出器と、仮想平行データおよびバックトランスレーションによる合成データで訓練された文抽象化器を組み合わせ、CNN/DailyMailで競争力のある性能を達成するとともに、科学的プレスリリース生成においても有望な結果を示した。これは低リソース環境での実現可能性を示している。

ABSTRACT

Abstractive summarization typically relies on large collections of paired articles and summaries. However, in many cases, parallel data is scarce and costly to obtain. We develop an abstractive summarization system that relies only on large collections of example summaries and non-matching articles. Our approach consists of an unsupervised sentence extractor that selects salient sentences to include in the final summary, as well as a sentence abstractor that is trained on pseudo-parallel and synthetic data, that paraphrases each of the extracted sentences. We perform an extensive evaluation of our method: on the CNN/DailyMail benchmark, on which we compare our approach to fully supervised baselines, as well as on the novel task of automatically generating a press release from a scientific journal article, which is well suited for our system. We show promising performance on both tasks, without relying on any article-summary pairs.

研究の動機と目的

• 平行な記事要約ペアが乏しいもしくは存在しない低リソース環境における抽象的要約の課題に対処すること。
• 高価な平行コーパスに依存せず、例示要約と一致しない記事のみを活用するシステムの開発。
• 対象分野が限定的で対応データが不足する分野（例：科学出版）における有効な抽象的要約の実現。
• 非教師付き抽出とデータ拡張による抽象化が、教師ありベースラインと同等の性能を達成できることの実証。
• 平行データが存在しない状況で、科学的ジャーナル記事からプレスリリースを生成するという新しいタスクの探求。

提案手法

• 入力記事から顕著な文を特定するため、非教師付き抽出モデル（例：Lead や LexRank）を用いる。
• 大規模な埋め込みベースのマッチングを用いて、要約の文と一致しない記事の文を対応付けることで、仮想平行文ペアを構築する。
• 仮想平行ペアを用いてバックトランスレーションモデルを訓練し、要約文から合成された記事文を生成する。
• 仮想平行ペアとバックトランスレートされた合成データの両方を組み合わせて、文抽象化器（P_PM）を訓練し、抽出された文を言い換える。
• 抽出された文を再表現して、より自然で圧縮され、ドメインに適した要約を生成する。
• 最終的に抽象化された文を出力要約として採用し、元の全文を再利用せずに抽象的圧縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 平行な記事要約ペアが一切存在しない状況でも、抽象的要約を効果的に訓練できるか？
• RQ2 仮想平行および合成データに依存するシステムは、標準ベンチマークにおいて完全に教師ありのベースラインと比べてどの程度の性能を示すか？
• RQ3 このような手法は、対応データが限られる低リソース・ドメイン特化タスク（例：科学的ジャーナル記事からプレスリリースを生成）に一般化可能か？
• RQ4 非教師付き文抽出とデータ拡張による抽象化を組み合わせることで、自然で情報豊富な要約をどの程度効果的に生成できるか？
• RQ5 さまざまな要約タスクにおいて、教師あり手法と非平行手法との間の性能差はどの程度か？

主な発見

• CNN/DailyMailベンチマークにおいて、本手法は平行学習データを一切使用しないにもかかわらず、完全に教師ありのLSTMベースの抽象的モデルと同等の性能を達成した。
• 科学的プレスリリース生成タスクにおいて、本手法は非教師付き抽出ベースライン（Lead や LexRank）を上回り、抽象化の利点を示した。
• 抽象化器は文の圧縮と言い換えを効果的に学習し、しばしば技術的表現をプレスリリースに適したよりアクセスしやすい言語に置き換えている。
• バックトランスレーションされた合成データで訓練されたモデルは、控えめな言い換えを示し、元の文構造の大部分を保持しながらも、意味的な圧縮を達成していた。
• 抽出ベースラインとオラクル（理想の抽出要約）との間の性能差が小さく、低リソース環境においては抽象的要約が高品質な結果を得るために不可欠であることを示唆している。
• 抽象化器の最終的な学習データセットには、860万件の仮想平行および合成文ペアが含まれており、これにより平行な監視なしに効果的な事前学習が可能になった。