[論文レビュー] Diffusion Variational Autoencoders.

Henry Li, Ofir Lindenbaum+2 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、拡散マップを用いてデータのトポロジーを自動的に推定するDiffusion Variational Autoencoders (DVAEs)を提案する。このモデルは、ユーザーが指定する事前分布を不要にするために、拡散マップと変分オートエンコーダーを統合した生成モデルである。拡散マップの漸近的多様体学習の保証と、深層生成モデルのスケーラビリティを活用することで、DVAEsは事後分布崩壊やモード崩壊を回避し、合成データおよび実データの両方で、より優れたサンプル品質とトポロジーの忠実性を達成する。

ABSTRACT

Variational autoencoders (VAEs) and generative adversarial networks (GANs) enjoy an intuitive connection to manifold learning: in training the decoder/generator is optimized to approximate a homeomorphism between the data distribution and the sampling space. This is a construction that strives to define the data manifold. A major obstacle to VAEs and GANs, however, is choosing a suitable prior that matches the data topology. Well-known consequences of poorly picked priors are posterior and mode collapse. To our knowledge, no existing method sidesteps this user choice. Conversely, $ extit{diffusion maps}$ automatically infer the data topology and enjoy a rigorous connection to manifold learning, but do not scale easily or provide the inverse homeomorphism (i.e. decoder/generator). We propose a method that combines these approaches into a generative model that inherits the asymptotic guarantees of $ extit{diffusion maps}$ while preserving the scalability of deep models. We prove approximation theoretic results for the dimension dependence of our proposed method. Finally, we demonstrate the effectiveness of our method with various real and synthetic datasets.

研究の動機と目的

• VAEやGANにおける事前分布選択という重要な課題に対処すること。これは、しばしば事後分布崩壊やモード崩壊を引き起こす。
• 拡散マップの厳密な多様体学習の基礎を活用し、ユーザー定義の事前分布を必要とせずに、データトポロジーを自動的に推定すること。
• 拡散マップのトポロジーの一貫性と、深層VAEのスケーラビリティおよび生成能力を統合すること。
• 提案手法の次元依存性に関する理論的近似バインディングを確立すること。
• 多様な実データおよび合成データセットにおいて、向上した生成性能とトポロジーの忠実性を示すこと。

提案手法

• VAEフレームワークに拡散マップを統合し、ユーザーが指定する事前分布を必要とせずに、内在的なデータ多様体構造を推定すること。
• 拡散マップ埋め込みを、真のデータトポロジーを反映する構造化された潜在空間として使用すること。
• 拡散マップの遷移行列によって事前分布を暗黙的に定義する変分オートエンコーダーを構築し、明示的な事前分布設計を回避すること。
• 深層ニューラルネットワークをデコーダーとして用い、拡散埋め込み潜在空間からデータ空間へのマッピングを実現すること。
• データ多様体の内在次元に依存する一般化誤差に関する近似理論的バインディングを導出すること。
• 拡散マップに基づく事前分布を用いてVAE目的関数を最適化し、安定的かつ意味のある潜在表現を持つエンドツーエンドの学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 拡散マップは、ユーザー指定の事前分布を置き換えるためにVAEフレームワークに効果的に統合可能か？
• RQ2 得られたモデルは、標準的なVAEやGANで観察されるモード崩壊や事後分布崩壊を回避するか？
• RQ3 標準的なVAEと比較して、この手法はデータ多様体のトポロジー構造をどの程度保持するか？
• RQ4 提案手法の近似誤差は、データの内在次元に対してどのようにスケーリングされるか？
• RQ5 多様な合成データおよび実世界のデータセットに一般化可能であり、サンプル品質とトポロジーの忠実性を維持できるか？

主な発見

• 提案されたDVAEは、データ構造に基づいて暗黙的に潜在事前分布を定義することで、ユーザーが指定する事前分布の必要性を排除する。
• 標準的なVAEと比較して、合成データおよび実世界データの両方で、向上したサンプル品質とモード崩壊の低減を示す。
• 理論的分析により、この手法の近似誤差がデータ多様体の内在次元に伴い有利にスケーリングされることを示した。
• 実験的結果により、DVAEが学習する潜在空間が真のデータトポロジーを忠実に保持しており、生成されたサンプルに忠実な多様体構造が確認された。
• 従来の拡散マップベースの手法とは異なり、深層ニューラルネットワークのスケーラビリティを維持しながら、競争力ある生成性能を達成した。