[論文レビュー] Identifiability of deep generative models without auxiliary information

Bohdan Kivva, Goutham Rajendran+2 more|arXiv (Cornell University)|Jun 20, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、補助情報、弱い教師信号、潜在空間の条件付けを一切要せず、深層生成モデルの同定可能性を確立している。具体的には、混合事前分布とReLU/leaky-ReLUエンコーダを備えた変分オートエンコーダ（VAE）モデルの同定可能性を、広範な仮定の下でアフィン変換を除いて示した。これは長年の未解決問題を解消し、合成データおよび実世界のデータ（例：MNIST）において、側面情報なしで安定的かつ再現可能な表現が得られることを示している。

ABSTRACT

We prove identifiability of a broad class of deep latent variable models that (a) have universal approximation capabilities and (b) are the decoders of variational autoencoders that are commonly used in practice. Unlike existing work, our analysis does not require weak supervision, auxiliary information, or conditioning in the latent space. Specifically, we show that for a broad class of generative (i.e. unsupervised) models with universal approximation capabilities, the side information $u$ is not necessary: We prove identifiability of the entire generative model where we do not observe $u$ and only observe the data $x$. The models we consider match autoencoder architectures used in practice that leverage mixture priors in the latent space and ReLU/leaky-ReLU activations in the encoder, such as VaDE and MFC-VAE. Our main result is an identifiability hierarchy that significantly generalizes previous work and exposes how different assumptions lead to different "strengths" of identifiability, and includes certain "vanilla" VAEs with isotropic Gaussian priors as a special case. For example, our weakest result establishes (unsupervised) identifiability up to an affine transformation, and thus partially resolves an open problem regarding model identifiability raised in prior work. These theoretical results are augmented with experiments on both simulated and real data.

研究の動機と目的

• 医療や金融分野などハイリスクな応用で用いられる深層生成モデルにおけるモデル同定可能性の重要な課題に取り組むこと。
• 補助変数や弱い教師信号なしに、教師なしの深層生成モデルにおける同定可能性が達成可能かどうかを明らかにすること。
• VaDE や MFC-VAE などのモデルで観察される経験的安定性の理論的裏付けを提供すること。
• 仮定の違いに応じた同定可能性の強さの階層を確立し、先行研究を一般化すること。

提案手法

• 著者らは、データ x が潜在変数 z を用いて f(z) + ε という区分的アフィンデコーダにより生成される深層潜在変数モデルを分析している。ここで z はガウス混合事前分布に従う。
• エンコーダにReLUまたはleaky-ReLU活性化関数を用い、潜在空間に混合事前分布を導入することで、汎用近似能力を持つモデルを検討している。
• 観測された側面情報 u や潜在空間における独立性仮定を一切要せず、最小限の仮定のもとで、アフィン変換を除いて同定可能性が証明されている。
• 理論的枠組みは、合成データ（ランダムな平行四辺形）と実データ（MNIST）を用いた実験により検証されており、MCC やアフィン距離といった指標が用いられている。
• 複数回のランダム初期化における潜在空間の安定性を評価するために、強力および弱い最大共分散成分（MCC）分析を採用している。
• 真のラベルを補助情報として用いる iVAE と比較して、MFC-VAE（補助情報なし）が競争力ある安定性を示している。

実験結果

リサーチクエスチョン

• RQ1 補助情報や弱い教師信号が存在しない状況下で、深層生成モデルは同定可能か？
• RQ2 モデル構造および事前分布にどのような条件が同定可能性を保証するか？
• RQ3 混合事前分布やReLU活性化関数といった仮定の違いに応じて、同定可能性の強さはどのように変化するか？
• RQ4 VaDE や MFC-VAE のようなモデルは、補助情報なしで、どれほど安定的かつ再現可能な表現を達成できるか？
• RQ5 真のラベルにアクセスできない状況下でも、MFC-VAE のようなモデルの経験的安定性は理論的に裏付けられるか？

主な発見

• 本論文は、補助情報なしに混合事前分布とReLU/leaky-ReLUエンコーダを備えた深層生成モデルが、アフィン変換を除いて同定可能であることを証明した。これは長年の未解決問題を解決するものである。
• 3クラスタの合成データにおいて、MFC-VAE は平均弱MCCが 0.99（±0.003）を達成し、複数回の実行における高い安定性を示した。
• MNIST では1アーキテクチャあたり10回の実行を行い、ReLU では平均弱MCCが 0.91（±0.05）、leaky-ReLU では 0.94（±0.02）を達成した。真のラベルが利用できないにもかかわらず、iVAE よりも一部の設定で優れた性能を示した。
• dist_Aff,L2 メトリックは、合成データで低値（例：0.1231 ± 0.076）を示し、回復された表現が真の潜在空間のアフィン変換に近いことを確認した。
• 結果から、MFC-VAE や VaDE のようなモデルが補助情報なしで競争的な安定性と表現の一貫性を達成できることを示しており、実世界応用への適用を支持する。
• 理論的同定可能性の階層には、等方的ガウス事前分布を備えたバニラVAEが特殊ケースとして含まれており、広範な適用可能性を示している。