[論文レビュー] Unsupervised Neural Multi-document Abstractive Summarization

Eric Chu, Peter J. Liu|arXiv (Cornell University)|Oct 12, 2018

Topic Modeling参考文献 11被引用数 19

ひとこと要約

本論文では、アノテート済み要約が一切不要な、非教師付きニューラル抽象要約モデルを提案している。一様な表現復元による系列オートエンコーダーを用いることで、モデルは入力レビューから一貫性があり、抽象的かつ感情を反映した要約を直接生成する能力を学習する。自動化評価および人間評価の両方において、抽出的ベースラインを上回る優れた性能を発揮する。

ABSTRACT

Abstractive summarization has been studied using neural sequence transduction methods with datasets of large, paired document-summary examples. However, such datasets are rare and the models trained from them do not generalize to other domains. Recently, some progress has been made in learning sequence-to-sequence mappings with only unpaired examples. In our work, we consider the setting where there are only documents (product or business reviews) with no summaries provided, and propose an end-to-end, neural model architecture to perform unsupervised abstractive summarization. Our proposed model consists of an auto-encoder where the mean of the representations of the input reviews decodes to a reasonable summary-review while not relying on any review-specific features. We consider variants of the proposed architecture and perform an ablation study to show the importance of specific components. We show through automated metrics and human evaluation that the generated summaries are highly abstractive, fluent, relevant, and representative of the average sentiment of the input reviews. Finally, we collect a reference evaluation dataset and show that our model outperforms a strong extractive baseline.

研究の動機と目的

• ペaired文書-要約アノテーションが一切ない状態で、エンドツーエンドのニューラルモデルを用いた抽象要約の開発を目的とする。
• ドメイン特化されたラベル付きデータに依存しないように、単一の未ペアレビューでの学習により、ドメイン間での一般化を可能にする。
• 一貫性があり、抽象的かつ入力レビューの平均感情を適切に反映した要約を生成することを目的とする。
• 新たに収集した基準データセットを用いた自動評価指標および人間アノテーションを用いて、モデルの性能を評価することを目的とする。

提案手法

• モデルは、入力レビューを共有表現にエンコードする系列オートエンコーダー構造を採用している。
• エンコードされた表現の平均値を、系列変換デコーダーを用いて要約に復元する。
• 再構成損失を用いてエンドツーエンドに訓練することで、復元された要約が入力レビューの分布と一致するようにする。
• モデルはレビュー固有の特徴を用いず、要約生成にあたっては完全に共有表現に依存している。
• さまざまなアテンション機構および正規化戦略を用いたアーキテクチャの複数のバリエーションを検討した。
• アブレーションスタディにより、各コンポONENTが最終的な要約品質に与える寄与度を評価した。

実験結果

リサーチクエスチョン

• RQ1 アノテート済み要約が一切ない状態で、非教師付きニューラルモデルが未ペアレビューから抽象的要約を生成できるか？
• RQ2 オートエンコーダーに基づく表現学習は、要約のための重要なコンテンツおよび感情を効果的に捉えられるか？
• RQ3 アテンションや正規化といったアーキテクチャ的コンポONENTは、要約品質にどの程度寄与するか？
• RQ4 一貫性、関連性、および抽象的性質の観点から、生成された要約は抽出的ベースラインと比べてどの程度優れているか？

主な発見

• 人間評価により確認されたように、提案モデルは非常に抽象的で、一貫性があり、入力レビューに関連性の高い要約を生成する。
• 入力レビューに表れた平均感情を適切に反映した要約を生成しており、感情の捉え込みが効果的であることが示された。
• 自動化評価指標および人間評価の両方において、強力な抽出的ベースラインを上回る性能を発揮した。
• アブレーションスタディにより、共有表現やオートエンコーディング目的関数といった重要なコンポONENTが性能向上に不可欠であることが確認された。
• 非教師付きの性質とラベル付きデータへの依存のなさから、ドメイン間での一般化性能が優れている。