[論文レビュー] Tackling Over-pruning in Variational Autoencoders

Serena Yeung, Anitha Kannan+2 more|arXiv (Cornell University)|Jun 9, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 43

ひとこと要約

本稿では、変分オートエンコーダー（VAE）における過剰なプリューニングを防ぐために、潜在変数を互いに排他的な部分空間（エピトーム）にグループ化するモデルベースの手法、エピトープ的変分オートエンコーダー（eVAE）を提案する。各グループがデータを説明するために競合するよう強制することで、モデル容量のより効果的な活用が可能となり、MNISTおよびTFDデータセットにおいて、標準VAEよりも優れた生成性能と一般化性能が得られる。

ABSTRACT

Variational autoencoders (VAE) are directed generative models that learn factorial latent variables. As noted by Burda et al. (2015), these models exhibit the problem of factor over-pruning where a significant number of stochastic factors fail to learn anything and become inactive. This can limit their modeling power and their ability to learn diverse and meaningful latent representations. In this paper, we evaluate several methods to address this problem and propose a more effective model-based approach called the epitomic variational autoencoder (eVAE). The so-called epitomes of this model are groups of mutually exclusive latent factors that compete to explain the data. This approach helps prevent inactive units since each group is pressured to explain the data. We compare the approaches with qualitative and quantitative results on MNIST and TFD datasets. Our results show that eVAE makes efficient use of model capacity and generalizes better than VAE.

研究の動機と目的

• トレーニング中に多くの確率的潜在変数が不活性化する、変分オートエンコーダー（VAE）における過剰なプリューニングの問題に対処すること。
• KLアンケージングや最小KL制約といったヒューリスティックなトレーニング手法がVAEの原則的正則化を損なうという制限を克服すること。
• 潜在空間を専用化された共有部分空間に構造化することで、すべての潜在変数が自然に寄与するよう促すモデルベースのアプローチを開発すること。
• モデル容量の活用を向上させ、より高いデータの多様性を捉え、生成性能を向上させること。
• eVAEが標準VAEよりも一般化性能に優れ、敵対的オートエンコーダーなどの最先端モデルと同等の結果を達成できることを実証すること。

提案手法

• エンコーダ・デコーダアーキテクチャに、潜在空間の複数の互いに disjoint な部分空間（エピトーム）のうちの1つを選択するカテゴリカルな潜在変数を導入する。
• 各エピトームは連続する確率的潜在変数のサブセットを活性化し、1つのデータポイントに対しては1つのグループのみが活性化されることを保証する。
• モデルはエンコーダとデコーダを同時に最適化し、変分下界を最大化する。カテゴリカル変数により、部分空間間の競合が可能になる。
• エピトームはデータポイント全体で共有されるため、パラメータ効率を維持したまま、複数の専門的表現を学習可能である。
• このアーキテクチャにより、構造的スパarsityが実現され、特定の1つの潜在要因が支配的になるのを防ぎ、潜在変数が不活性化するのを回避する。
• 標準VAEの目的関数に従い、バックプロパゲーションを用いたエンドツーエンドのトレーニングが可能であり、標準VAEと同程度のハイパーパrameterチューニングで十分である。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなトレーニング手法に依存せずに、モデルベースのアプローチがVAEにおける過剰なプリューニングを効果的に防げるか。
• RQ2 競合する共有部分空間（エピトーム）に潜在空間を構造化することで、モデル容量の活用が向上するか。
• RQ3 eVAEは標準VAEや他の最先端モデルよりも優れた生成性能と一般化性能を達成できるか。
• RQ4 KLアンケージングや最小KL制約といった既存手法と比較して、エピトームの使用は表現品質にどのように影響するか。
• RQ5 エピトープ的構造は、ベンチマークデータセットにおけるデータ再構成とサンプル多様性の向上にどの程度寄与するか。

主な発見

• eVAEはエピトーム間の競合により、すべての潜在変数が活用されることを保証することで、過剰なプリューニングを顕著に低減する。
• MNISTでは、eVAEが337 ± 2 natsのパルゼン密度を達成し、標準VAE（325 ± 2 nats）を上回り、最良の敵対的オートエンコーダーと同等の性能を示す。
• TFDでは、eVAEが2371 ± 20 natsを達成し、標準VAE（2180 ± 20 nats）とmVAE（2358 ± 20 nats）を上回り、優れた一般化性能を示す。
• eVAEの質的サンプルは、標準VAEと比較して多様性が高く、画像品質も優れているため、より優れた分離表現が得られていることが示唆される。
• eVAEは標準VAEよりも一般化性能に優れ、敵対的オートエンコーダーなどの最先端モデルと同等の性能を達成する。
• 訓練安定性に悪影響を及げることなく、MNISTではVAEの8次元と比較して48次元の潜在次元を効果的に活用していることから、モデルの全容量を十分に活用できていることが裏付けられる。