[論文レビュー] Variational Autoencoders and Nonlinear ICA: A Unifying Framework

Ilyes Khemakhem, Diederik P. Kingma+2 more|arXiv (Cornell University)|Jul 10, 2019

Neural Networks and Applications参考文献 30被引用数 130

ひとこと要約

本論文は、観測変数に依存する条件付き因子分解型潜在事前分布を課すことにより、VAEの識別可能性を導入し、識別可能な非線形ICAとVAEを統合し、単純な変換までの潜在源の回復を実証する。

ABSTRACT

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latent-variable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy, undercomplete or discrete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

研究の動機と目的

• 深層潜在変数モデルにおける識別可能性を限界データ適合以上に動機づける。
• 識別可能性を有効にするため、条件付き因子分解型潜在事前分布 p(z|u) を導入する。
• 最大尤度フレームワークの下で、識別可能な非線形ICAとVAEを統一する。
• 識別可能な事前分布が潜在構造の回復を促進し、データ合成を可能にすることを示す。

提案手法

• 条件付き生成モデル p(x,z|u)=p_f(x|z)p_T,lambdab(z|u) を定義し、x=f(z)+epsilon とする。
• f が単射であり、epsilon が独立ノイズであると仮定する。
• パラメータ lambda(u) を持つ条件付き因子分解型指数族事前分布 p(z|u) を定義する。
• 変分下界とリパラメータ化トリックを用いて識別可能なVAE(iVAE)を学習する。
• 識別可能性を可逆線形変換 A および成分ごとの非線形変換 T_i まで示す。
• 非線形ICAとの関連を示し、正規化フローを含む特殊ケースを議論する。

実験結果

リサーチクエスチョン

• RQ1 潜在前提が観測変数 u に条件付けられている場合、VAE は真の結合分布 p(x,z) を同定できるか？
• RQ2 単純な変換（A および T_i）まで識別可能になる条件は何か？
• RQ3 潜在前提を u で条件付けることは、VAE を非線形ICAおよび識別可能フロー Models にどう結びつけるか？
• RQ4 提案された iVAE は実践的に潜在源の回復と実用的なデータ合成を可能にするか？

主な発見

• 条件付き潜在事前分布を持つ広い族の深層潜在変数モデルにおいて、単純な変換までの識別可能性が達成可能である。
• 潜在変数は、 mild 条件下で可逆線形変換と成分ごとの非線形性（T_i）まで回復できる。
• 最大似然様の目的で推定される iVAE フレームワークは、シミュレーションで真の結合分布に近い潜在表現を生み出す。
• シミュレーションでは、iVAE は vanilla VAE およびデータ分離ベースラインを著しく上回り、真の源を回復する（2D 実験で MCC > 95% の例）。
• このアプローチは VAE と非線形ICA の間に原理的な結びつきを提供し、識別可能なフローベースモデルを特別な場合として包含する。