[論文レビュー] Hidden Talents of the Variational Autoencoder

Bin Dai, Yu Wang+3 more|arXiv (Cornell University)|Jun 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 17

ひとこと要約

この論文は、変分オートエンコーダー（VAEs）が、データ内のスパースな外れ値に対して内在的に頑健であることを明らかにし、非線形で低次元の多様体におけるロバストPCAの自然な拡張として機能することを示している。明確な解析的ケースを通じて、VAEsが著しい汚染下でも再構成誤差を最小化し、外れ値を効果的に除外しながらも、元の多様体構造を保持することを示している。

ABSTRACT

Variational autoencoders (VAE) represent a popular, flexible form of deep generative model that can be stochastically fit to samples from a given random process using an information-theoretic variational bound on the true underlying distribution. Once so-obtained, the model can be putatively used to generate new samples from this distribution, or to provide a low-dimensional latent representation of existing samples. While quite effective in numerous application domains, certain important mechanisms which govern the behavior of the VAE are obfuscated by the intractable integrals and resulting stochastic approximations involved. Moreover, as a highly non-convex model, it remains unclear exactly how minima of the underlying energy relate to original design purposes. We attempt to better quantify these issues by analyzing a series of tractable special cases of increasing complexity. In doing so, we unveil interesting connections with more traditional dimensionality reduction models, as well as an intrinsic yet underappreciated propensity for robustly dismissing sparse outliers when estimating latent manifolds. With respect to the latter, we demonstrate that the VAE can be viewed as the natural evolution of recent robust PCA models, capable of learning nonlinear manifolds of unknown dimension obscured by gross corruptions.

研究の動機と目的

• 標準的な生成モデリングを超えた、変分オートエンコーダー（VAEs）の隠れた頑健性特性を調査すること。
• データ多様体に著しい汚染やスパースな外れ値が存在する状況下でのVAEsの挙動を分析すること。
• 特に非線形かつ低次元の設定において、VAEsとロバストPCAの理論的関連を確立すること。
• スパースで高マグニチュードの外れ値に覆い隠された潜在多様体を学習するVAEの能力を定量化すること。
• VAEsが非線形データにおけるロバストPCAモデルの自然な進化として機能できることを示すこと。

提案手法

• 著者たちは、変分目的関数を単純化するため、区分線形デコーダ関数とガウス型潜在変数を有するVAEsの明確な特殊ケースを分析する。
• 再構成項の正確な計算を可能にする、量子化ベースのデコーダを定義する。このデコーダでは、潜在コードに応じて最も近い訓練サンプルに平均出力を設定する。
• 主要な要素として、潜在コードを訓練サンプルにマップする区分線形関数 h(z) を用いる。これにより、再構成は主に近隣のサンプルに限定される。
• 誤った量子化の確率を抑え込むために、チェビシェフの不等式を用いる。これにより、期待再構成誤差の上限が得られる。
• 潜在変数間の最小距離の逆数と、最大のペアワイズデータ距離に比例する上界を、VAE目的関数に対して導出する。
• ハイパーパrameter λx と λz を α に設定し、α → 0 とする。このとき上界は下限から無限に発散するようになり、有利な条件下でモデルが任意に低い目的関数値を達成できることを示している。

実験結果

リサーチクエスチョン

• RQ1 データにスパースで高マグニチュードの外れ値が存在する場合、VAEsは低次元多様体を頑健に推定できるか？
• RQ2 著しい汚染下でVAE目的関数はどのように振る舞い、外れ値の影響を自然に抑制するのか？
• RQ3 VAEの最適化の局所的構造は、ロバストPCAモデルのそれとどの程度類似しているか？
• RQ4 訓練データにスパースな外れ値が存在する状況下で、VAEsに対してどのような理論的保証を導出できるか？
• RQ5 VAEの潜在空間最適化は、外れ値を除外しながらも、元の多様体を保存する傾向を内蔵しているか？

主な発見

• VAE目的関数は、潜在コード間の最小距離の逆数に依存する項によって下限から抑えられる。これは、コードが適切に分離されている場合に再構成誤差が低くなることを示唆する。
• 期待再構成誤差は、η/λx に誤った量子化の確率を乗じたもので抑えられる。ここで η はデータポイント間の最大ペアワイズ距離である。
• チェビシェフの不等式を用いることで、誤った量子化の確率は λz/ρ² で抑えられる。ここで ρ は潜在平均間の最小二乗距離の半分である。
• 分散パラメータ α = λx = λz が 0 に近づくと、VAE目的関数の上界は下限から無限に発散する。これは、有利な潜在構成下でモデルが任意に低い損失を達成できることを示している。
• 解析により、VAEsがスパースな外れ値に対して本質的に耐性を持つことが示された。これは、外れ値の再構成誤差が、潜在コードが誤ったデータポイントにマップされる場合にのみペナルティが課されるためであり、適切な分離がなされていればその確率は低い。
• VAEsが非線形かつ次元が未知の多様体に対するロバストPCAの自然な一般化であることが示された。外れ値がスパースに存在する状況下でも、真の多様体を学習する能力を有している。