[論文レビュー] SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders

Peter J. Liu, Yu-An Chung+1 more|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 41被引用数 16

ひとこと要約

本稿では、訓練時にラベル付き要約が一切不要なゼロショット抽象的要約モデルであるSummAEを紹介する。このモデルは長さに依存しないノイズ除去自己符号化器を用い、5文の物語から1文の要約を生成する。自己教師あり事前学習としてマスクシーケンス予測と段落シャッフルを採用することで、ROUGE-1が36.5に達し、抽出的ベースラインを著しく上回り、オラクル抽出的性能に近づいた。

ABSTRACT

We propose an end-to-end neural model for zero-shot abstractive text summarization of paragraphs, and introduce a benchmark task, ROCSumm, based on ROCStories, a subset for which we collected human summaries. In this task, five-sentence stories (paragraphs) are summarized with one sentence, using human summaries only for evaluation. We show results for extractive and human baselines to demonstrate a large abstractive gap in performance. Our model, SummAE, consists of a denoising auto-encoder that embeds sentences and paragraphs in a common space, from which either can be decoded. Summaries for paragraphs are generated by decoding a sentence from the paragraph representations. We find that traditional sequence-to-sequence auto-encoders fail to produce good summaries and describe how specific architectural choices and pre-training techniques can significantly improve performance, outperforming extractive baselines. The data, training, evaluation code, and best model weights are open-sourced.

研究の動機と目的

• 訓練時にラベル付き要約が一切ない状況下でのゼロショット抽象的要約の課題に対処すること。
• リソースが限られた状況下で抽出的要約と抽象的要約の性能格差を埋めること。
• 文と段落を共有の潜在空間に統合的に符号化するエンドツーエンドのニューラルモデルを構築すること。
• 潜在空間における文と段落の表現が分離しないように、アーキテクチャ的および事前学習的要素を設計すること。
• ROCStoriesに基づく新しいベンチマーク、ROCSummを確立し、非教師あり抽象的要約分野における進歩を測定すること。

提案手法

• 文と段落を共有エンコーダーで共有の潜在空間に符号化するノイズ除去自己符号化器を訓練する。
• 再構成時にデコーダーが文または段落を生成するように、特別なトークンプレフィックスを条件として用いる。
• モデルの頑健性と一般化性能を向上させるために、トークンマスキングと段落シャッフルの2つのノイズ増強技術を適用する。
• 文と段落の表現を整合させるために、自己教師あり事前学習目的として次文シーケンス予測（NSSP）と言語モデル（LM）を実装する。
• 表現能力と自己回帰的生成品質の両立を図るため、TransformerエンコーダーとRNNデコーダーを組み合わせたアーキテクチャを採用する。
• マスキング済みおよびシャッフル済み入力シーケンス上で、ノイズ除去自己符号化損失を用いてエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 訓練時にラベル付き要約が一切ない状況下でも、1つのノイズ除去自己符号化器モデルが抽象的要約を効果的に生成できるか？
• RQ2 潜在空間における文と段落の表現が分離しないようにするために、どのようなアーキテクチャ的および事前学習的要素が必要か？
• RQ3 トークンマスキングや段落シャッフルといったノイズ増強技術が、要約品質およびモデル安定性に与える影響は何か？
• RQ4 NSSPとLMの自己教師あり事前学習は、抽出的ベースラインを上回るゼロショット抽象的要約性能をどの程度向上させるか？
• RQ5 ROUGEスコアの性能は、生成要約の文の流れの自然さと情報の関連性に関する人間の評価と相関するか？

主な発見

• 最良のSummAEモデルはROUGE-1が36.5、ROUGE-Lが29.3を達成し、最良の抽出的ベースライン（ROUGE-1: 27.3）を著しく上回った。
• NSSPとLMの両方の事前学習を施したモデル（ROUGE-1: 36.5）は、片方の事前学習のみまたは事前学習なしのモデルよりも優れた性能を示した。
• トークンマスキングまたは段落シャッフルのいずれかを削除すると、ROUGE-1が2.5～3.1ポイント低下し、両者が性能と安定性に不可欠であることが示された。
• 人間評価では、最良のモデル（TRF-RNN + NSSP + LM）が情報関連性において86%のケース、文の自然さにおいて99%のケースで先行モデルを上回ったが、依然として人間の性能には遠く及ばない結果となった。
• モデルの段落再構成は一貫性はあったが事実誤認を含んでおり、再構成品質の向上が要約の正確性向上に寄与する可能性があることが示唆された。
• 自己符号化器アーキテクチャにクライムを導入した場合、潜在空間の分離が性能劣化を引き起こしたが、事前学習とノイズ増強によりこれを是正できた。