[論文レビュー] MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization

Eric Chu, Peter J. Liu|arXiv (Cornell University)|Oct 12, 2018

Topic Modeling参考文献 35被引用数 97

ひとこと要約

MeanSumは、レビューのマルチドキュメント要約のためのエンドツーエンドの教師なし抽象的モデルを提示します。オートエンコーダと平均潜在表現を利用し、ペアとなる要約なしで標準的で流暢な要約を生成します。

ABSTRACT

Abstractive summarization has been studied using neural sequence transduction methods with datasets of large, paired document-summary examples. However, such datasets are rare and the models trained from them do not generalize to other domains. Recently, some progress has been made in learning sequence-to-sequence mappings with only unpaired examples. In our work, we consider the setting where there are only documents (product or business reviews) with no summaries provided, and propose an end-to-end, neural model architecture to perform unsupervised abstractive summarization. Our proposed model consists of an auto-encoder where the mean of the representations of the input reviews decodes to a reasonable summary-review while not relying on any review-specific features. We consider variants of the proposed architecture and perform an ablation study to show the importance of specific components. We show through automated metrics and human evaluation that the generated summaries are highly abstractive, fluent, relevant, and representative of the average sentiment of the input reviews. Finally, we collect a reference evaluation dataset and show that our model outperforms a strong extractive baseline.

研究の動機と目的

• 多数のドキュメントがあるが要約が利用できない設定で、抽象的要約を動機づける。
• 要約の監督が不要なエンドツーエンドのニューラルモデルを開発する。
• 生成される要約がレビューの言語領域に属し、平均的なセンチメントを反映することを保証する。
• 入力文書数の違いやドメイン（YelpとAmazon）をまたいだ堅牢性を示す。
• 参照要約なしでモデル設計を指針づける代理指標と人間評価を提供する。

提案手法

• オートエンコーダは各入力レビュー x_j に対して表現 z_j を学習し、デコーダを介して x_j を再構成して、表現をレビュー言語に根ざしたものに保つ。
• 要約モジュールは k 件のレビューにわたる潜在コードを平均して {z} を形成し、同じデコーダがそれを使って要約 s を生成する。
• エンコードされたレビュー h_j とエンコードされた要約 h_s の間に、類似度損失（平均コサイン距離）を計算して、要約を入力内容へ引き寄せる。
• 要約は Straight Through Gumbel-Softmax を用いて、離散的な語のサンプリングを介して微分可能な訓練を可能にし、露出バイアスを回避する。
• 最終目的関数は再構成損失と類似度損失の和である: L_model = L_rec + L_sim、エンコーダ/デコーダの重みを結合し、データセットのレビューで訓練された事前学習言語モデルから初期化する。

実験結果

リサーチクエスチョン

• RQ1 要約 supervision が全くない状況で、教師なしのエンドツーエンドニューラルモデルは複数のレビューに対して抽象的な要約を生成できるか？
• RQ2 エンコーダ/デコーダを結び付け、平均潜在表現を使用することは、要約をレビュー言語に効果的に制約しつつ、入力との意味的連結を保つことができるか？
• RQ3 入力文書数（k）が変化する場合、およびドメイン（Yelp, Amazon）横断で、モデルはベースラインと比較してどのように性能を発揮するか？
• RQ4 参照要約がない場合に、代理的な自動指標と人間評価が抽象性、流暢さ、センチメント忠実度の信頼できる指標となるか？

主な発見

• MeanSum は競争力の ROUGE スコアを達成し、参照要約を使用せずにマルチドキュメント Yelp 要約で強力な抽出ベースラインを上回る。
• 抽象的モデルはベースラインと比較してセンチメントの精度を改善し、全体の入力センチメントを忠実に反映していることを示す。
• モデルは入力からのコピーを限定的にして、非常に抽象的な要約を生成する（n-gram の新規性が高い）。
• 代理指標（センチメント精度、単語重複）は ROUGE と相関し、参照要約がない状況でのモデル開発を導く。
• 人間評価は MeanSum の要約が流暢で関連性が高く、入力レビューのセンチメントを代表していることを示す。