[論文レビュー] Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder

Raphael Schumann|arXiv (Cornell University)|Sep 13, 2018

Topic Modeling被引用数 13

ひとこと要約

本論文は、出力長を制御する変分オートエンコーダー（VAE）を用いた教師なし抽象的文単位要約手法を提案する。decoderは学習可能な長さ埋め込み（LenEmb）に条件付けられており、より短く簡潔な要約を生成する。単純なプレフィックスベースラインを上回らないものの、完全再構成より高いROUGEスコアを達成しており、教師なし条件下でも長さ制御が要約の情報圧縮を向上させることを示している。

ABSTRACT

In this work we present an unsupervised approach to summarize sentences in abstractive way using Variational Autoencoder (VAE). VAE are known to learn a semantically rich latent variable, representing high dimensional input. VAEs are trained by learning to reconstruct the input from the probabilistic latent variable. Explicitly providing the information about output length during training influences the VAE to not encode this information and thus can be manipulated during inference. Instructing the decoder to produce a shorter output sequence leads to expressing the input sentence with fewer words. We show on different summarization data sets, that these shorter sentences can not beat a simple baseline but yield higher ROUGE scores than trying to reconstruct the whole sentence.

研究の動機と目的

• 並列学習データを必要としない、短く情報量の多い文単位要約を生成する教師なし抽象的要約手法の開発。
• VAEによって生成される抽象的要約の品質を向上させるために、デコード段階での出力長の制御が有効であるかを調査すること。
• LenEmbによる明示的な長さ条件付けが、潜在空間が長さ情報を符号化する必要性を低減させ、要約の長さと内容の両方をよりよく制御できるかを検証すること。
• ROUGEスコアを用いて、標準要約ベンチマーク上でのモデルの性能をベースラインおよびアブレーションバリアントと比較して評価すること。

提案手法

• 入力文の意味的豊かな潜在表現を学習するために、双方向RNNエンコーダーと自己回帰的RNNデコーダーを備えた変分オートエンコーダー（VAE）を用いる。
• 潜在変数zの確率的サンプリングを可能にするために、再構成の勾配を伝播可能にするために再構成トリックを採用し、エンコーダーから得られるμとσを用いてz = μ + σ ⊙ εとサンプリングする。
• 長さ埋め込み（LenEmb）を導入し、各デコードステップtにおいて残りの語数を埋め込み、デコーダー入力に連結することで出力長をガイドする。
• デコーダーは入力文を再構成することを目的としつつ、望ましい出力長に条件付けられている。長さ埋め込みは学習中に同時に学習される。
• 潜在表現が入力文の全体的な語頻度統計を保持するよう、bag-of-words損失を適用する。
• VAEの目的関数におけるKL正則化項は、学習中に段階的に緩和され、再構成品質と潜在空間の正則性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 VAEベースのモデルは、教師なしの環境下でも、短く情報量の多い要約を生成できるか？
• RQ2 学習可能な長さ埋め込み（LenEmb）にデコーダーを条件付けた場合、より短く焦点を絞った要約を生成する能力が向上するか？
• RQ3 文の長さ情報はどの程度VAEの潜在空間に符号化されているのか？また、LenEmbの導入はこの符号化にどのような影響を与えるか？
• RQ4 完全再構成よりも長さ制御された生成が、単純なベースラインを上回らない場合でも、より高いROUGEスコアを達成できるか？

主な発見

• LenEmbモデルは、DUC-2004およびGigawordデータセットの両方で、ヴァニラVAEよりもROUGE-1、ROUGE-2、ROUGE-Lスコアが高く、要約品質が向上しているが、プレフィックスベースラインを上回ることはなかった。
• DUC-2004では、LenEmbモデルがROUGE-1 16.38、ROUGE-2 2.56、ROUGE-L 14.19を達成し、ヴァニラVAE（14.49、2.06、12.28）を上回り、情報圧縮が向上していることが示された。
• Gigawordでは、LenEmbモデルがROUGE-1 22.19、ROUGE-2 4.56、ROUGE-L 19.88を達成し、ヴァニラVAE（19.91、4.14、18.02）を上回った。
• DUC-2004において、潜在変数から文の長さを予測する線形回帰のR²は、LenEmbなしでは0.59、LenEmbありでは0.41であった。これは、LenEmbの導入により潜在空間が長さ情報を符号化する必要性が低下していることを示している。
• 出力長は目標の20語（75文字）に近づけ、60%の出力が望ましい範囲に入った。長さ制御の有効性が確認された。
• ヴァニラVAEよりも改善は見られたが、モデルは単純なプレフィックスベースライン（入力の100%を最初の語から抽出）を上回ることはできず、再構成忠実度の限界が示された。