[論文レビュー] Deep Recurrent Generative Decoder for Abstractive Text Summarization

Piji Li, Wai Lam+2 more|arXiv (Cornell University)|Aug 2, 2017

Topic Modeling参考文献 36被引用数 33

ひとこと要約

本稿では、変分推論に基づく再帰的潜在変数モデルを用いて、要約文の潜在的構造的情報を統合することで、要約生成の質を向上させる深層再帰的生成デコーダー（DRGD）を提案する。seq2seqフレームワークにおいて生成的潜在変数と判別的決定的状態を併用することで、英語（Gigawords, DUC-2004）および中国語（LCSTS）のベンチマークで最先端のROUGEスコアを達成し、構造的な生成によって要約品質が向上することを示している。

ABSTRACT

We propose a new framework for abstractive text summarization based on a sequence-to-sequence oriented encoder-decoder model equipped with a deep recurrent generative decoder (DRGN). Latent structure information implied in the target summaries is learned based on a recurrent latent random model for improving the summarization quality. Neural variational inference is employed to address the intractable posterior inference for the recurrent latent variables. Abstractive summaries are generated based on both the generative latent variables and the discriminative deterministic states. Extensive experiments on some benchmark datasets in different languages show that DRGN achieves improvements over the state-of-the-art methods.

研究の動機と目的

• 人間が書いた要約に内在する潜在的構造的パターンをモデル化することで、抽象的要約生成を改善すること。
• 要約生成における複雑な構造的依存関係を捉えることができない決定的デコーダーの限界を解消すること。
• 生成的潜在変数と判別的状態を統合することで、要約品質を向上させること。
• 教師なしの言語的特徴や事前処理を必要とせず、微分可能でエンドツーエンドで学習可能なフレームワークを構築すること。
• 再帰的変分推論が、要約における順序的潜在構造を効果的にモデル化できることを示すこと。

提案手法

• 要約の潜在的構造的情報をモデル化するため、深層再帰的生成デコーダー（DRGD）を備えたseq2seqエンコーダデコーダフレームワークを提案する。
• 潜在変数に再帰的依存関係を持つ変分オートエンコーダー（VAE）を採用し、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• 不確実な潜在変数の事後分布を近似するためにニューラル変分推論を用い、効果的な学習を実現する。
• デコーディング段階で生成的潜在変数と判別的決定的状態を併用することで、より一貫性があり構造的に整合性のある要約を生成する。
• 潜在構造モデリング部を統合的なデコーディングフレームワークに組み込み、流暢さと事実的一致性を同時に最適化する。
• 外部の言語的特徴や事前処理を一切不要とし、バックプロパゲーションを用いてすべてのモデルパラメータをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 人間が書いた要約に内在する潜在的構造的パターンをモデル化することで、抽象的要約生成の質が向上するか？
• RQ2 潜在変数に再帰的依存関係を組み込むことで、非再帰的または決定的モデルと比較して要約生成がどのように向上するか？
• RQ3 生成的潜在変数と判別的デコーダーステートを組み合わせることで、ROUGEスコアが向上し、より一貫性のある要約が得られるか？
• RQ4 明示的な教師信号なしで、変分推論に基づく再帰的潜在変数モデルが構造的パターンを効果的に捉えられるか？
• RQ5 提案されたDRGDフレームワークは、複数の言語およびデータセットにおいて最先端モデルと比較してどのように差をつけるか？

主な発見

• 英語のGigawordsデータセットでは、R-1が31.79、R-2が10.75、R-Lが27.48と、最高のROUGE-F1スコアを達成した。
• DUC-2004データセットでは、すべてのベースラインを上回り、R-1が36.99、R-2が24.15、R-Lが34.21を記録した。
• 中国語のLCSTSベンチマークでは、CopyNet や RNN-distract を上回り、R-1が36.99、R-2が24.15、R-Lが34.21の最高性能を達成した。
• 事例研究では、DRGDが生成する要約がゴールデン要約（例：「誰が何をした」構造）と構造的に一致しているのに対し、StanD などの標準的デコーダーは一貫性のない、またはトピックから逸れた出力を示した。
• モデルの性能向上は、再帰的変分推論を用いて複雑な潜在的構造的パターンを学習・活用できる能力に起因する。
• DRGDは言語やデータセットを問わず優れた一般化性能を示しており、その潜在的構造モデリングアプローチの強固さを裏付けている。