[論文レビュー] Preventing Posterior Collapse in Sequence VAEs with Pooling

Teng Fei Long, Yanshuai Cao+1 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 23被引用数 4

ひとこと要約

この論文は、エンコーダーに単純なプーリング機構を導入することで、系列VAEにおける後方分布崩壊を解消することを提案する。これにより、複雑なアーキテクチャの変更や高コストな最適化を伴わずに、対数尤度が著しく向上し、SOTA性能を達成するとともに、従来の手法よりも大幅に高速化される。

ABSTRACT

Variational Autoencoders (VAEs) hold great potential for modelling text, as they could in theory separate high-level semantic and syntactic properties from local regularities of natural language. Practically, however, VAEs with autoregressive decoders often suffer from posterior collapse, a phenomenon where the model learns to ignore the latent variables, causing the sequence VAE to degenerate into a language model. Previous works attempt to solve this problem with complex architectural changes or costly optimization schemes. In this paper, we argue that posterior collapse is caused in part by the encoder network failing to capture the input variabilities. We verify this hypothesis empirically and propose a straightforward fix using pooling. This simple technique effectively prevents posterior collapse, allowing the model to achieve significantly better data log-likelihood than standard sequence VAEs. Compared to the previous SOTA on preventing posterior collapse, we are able to achieve comparable performances while being significantly faster.

研究の動機と目的

• 自己回帰的デコーダーを搭載する系列VAEにおける後方分布崩壊の根本的原因を解明すること。
• エンコーダーによる入力のばらつきの捕捉が不十分であることが、後方分布崩壊に寄与しているという仮説を検証すること。
• プーリングを用いた軽量で効率的な解決策を提案し、後方分布崩壊を防止すること。
• 従来の系列VAEよりも高い対数尤度を達成するとともに、過去のSOTA手法よりも高速な学習を維持すること。

提案手法

• 著者らは、局所的な入力表現を要約することで、モデルの入力ばらつきの捉え方を向上させるため、エンコーダーにプーリング操作を導入する。
• プーリングは潜在変数のボトルネックの直前に適用され、エンコーダーが入力系列をより効果的に要約できるようにする。
• 標準的なVAEアーキテクチャを維持しつつ、グローバルな文脈の集約によりエンコーダーの表現能力を強化する。
• このアプローチは、アーキテクチャの大規模な見直しや複雑な最適化スキームを必要とせず、単純で微分可能であるプーリング層に依存する。
• 再パラメータライゼーション勾配推定を用いて、標準的なVAEの目的関数に従い、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーによる入力ばらつきの捕捉が不十分であることが、系列VAEにおける後方分布崩壊に寄与しているか？
• RQ2 エンコーダーに単純なプーリング機構を導入することで、後方分布崩壊を効果的に緩和できるか？
• RQ3 提案手法は、過去のSOTA手法と比較して、性能と学習速度の両面でどう異なるか？
• RQ4 複雑なアーキテクチャの変更を避けて、より高い対数尤度を達成できるか？

主な発見

• 提案されたプーリング機構により、エンコーダーの入力ばらつきの表現能力が向上し、後方分布崩壊が顕著に低減される。
• 標準的な系列VAEと比較して、データの対数尤度が著しく向上する。
• 過去のSOTA手法と同等の性能を発揮し、後方分布崩壊の防止に成功する。
• そのシンプルさと複雑な最適化スキームの欠如のおかげで、過去のSOTA手法よりも学習が著しく高速化される。