[論文レビュー] Embrace the Gap: VAEs Perform Independent Mechanism Analysis

Patrik Reizinger, Luigi Gresele+7 more|arXiv (Cornell University)|Jun 6, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、変分オートエンコーダー（VAEs）が、下界（ELBO）と正確な対数尤度の差を活用することで、独立機構分析（IMA）を実行することを示している。近似的に決定的であるデコーダーの極限において、最適なエンコーダーはデコーダーをほぼ逆転させる（自己整合性）ことになり、ELBOはデコーダーのヤコビ行列に列直交性を強制する正則化尤度に収束する。このインダクティブバイアスにより、データ生成過程がIMA仮定を満たす場合には、真の分離可能な潜在要因の回復が可能になる。

ABSTRACT

Variational autoencoders (VAEs) are a popular framework for modeling complex data distributions; they can be efficiently trained via variational inference by maximizing the evidence lower bound (ELBO), at the expense of a gap to the exact (log-)marginal likelihood. While VAEs are commonly used for representation learning, it is unclear why ELBO maximization would yield useful representations, since unregularized maximum likelihood estimation cannot invert the data-generating process. Yet, VAEs often succeed at this task. We seek to elucidate this apparent paradox by studying nonlinear VAEs in the limit of near-deterministic decoders. We first prove that, in this regime, the optimal encoder approximately inverts the decoder -- a commonly used but unproven conjecture -- which we refer to as {\em self-consistency}. Leveraging self-consistency, we show that the ELBO converges to a regularized log-likelihood. This allows VAEs to perform what has recently been termed independent mechanism analysis (IMA): it adds an inductive bias towards decoders with column-orthogonal Jacobians, which helps recovering the true latent factors. The gap between ELBO and log-likelihood is therefore welcome, since it bears unanticipated benefits for nonlinear representation learning. In experiments on synthetic and image data, we show that VAEs uncover the true latent factors when the data generating process satisfies the IMA assumption.

研究の動機と目的

• 最大尤度推定の不確実性にもかかわらず、VAEsがなぜ分離可能な表現を学習できるのかというパラドックスを解明すること。
• 近似的に決定的なデコーダーの枠組みにおいて、最適なVAEエンコーダーの自己整合性を形式的に定式化し、証明すること。
• 自己整合性下でELBOが正則化された尤度に収束することを示し、デコーダーのヤコビ行列に列直交性を促すインダクティブバイアスを導入すること。
• データ生成過程が独立機構分析（IMA）仮定を満たす場合に、この正則化が真の潜在要因の回復を可能にすることを検証すること。

提案手法

• 自己整合性の証明：近似的に決定的な極限において、最適な変分事後分布エンコーダーは、決定的デコーダーをほぼ逆転させる。
• ELBOの極限形を導出する。その正則化項は、デコーダーのヤコビ行列の列直交性を強制する。
• この正則化が独立機構分析（IMA）に対応しており、分離可能な表現学習を促進することを確立する。
• 対角事後分散を有するガウス型VAEを用いて、エンコーダーのヤコビ行列に行直交性を誘導し、これはデコーダーにおける列直交性と同等である。
• IMA仮定を満たす合成データ（モビウス変換）および画像データ（Sprites）に対してVAEを訓練し、分離性を評価する。
• 固定されたγ²（デコーダーのノイズ分散）と、最尤推定によるγ²を比較し、合成実験では最適なγ²が1e5に近いことを確認する。

実験結果

リサーチクエスチョン

• RQ1 標準的な潜在変数モデルでは同定可能性に欠けるにもかかわらず、VAEsがなぜ分離可能な表現を学習できるのか？
• RQ2 非線形VAEsの近似的に決定的な極限において、エンコーダーがデコーダーを近似的に逆転させること（自己整合性）は妥当か？
• RQ3 決定的極限においてELBOは正則化された尤度に収束するのか？その正則化の性質は何か？
• RQ4 この正則化は、デコーダーに列直交性を持つヤコビ行列を誘導できるか？そして、これにより独立機構分析（IMA）が可能になるか？
• RQ5 どのような条件下で、VAEsは合成データおよび現実世界のデータにおいて真の潜在要因を回復できるか？

主な発見

• 最適なVAEエンコーダーは、近似的に決定的な極限において、デコーダーをほぼ逆転させる。これは自己整合性の予想が裏付けられたことを示す。
• 自己整合性下で、ELBOは正則化された尤度に収束し、その正則化項はデコーダーのヤコビ行列の列直交性を強制する。
• この正則化は、真の潜在要因の回復を支援することが知られている独立機構分析（IMA）に対応する。
• モビウス変換を用いた合成実験では、IMA仮定が満たされている場合にVAEsが真の潜在要因を効果的に回復した。
• Spritesデータセットでは、適切なγ²ハイパーパrameterを用いたVAEsが、MCC や MIG といった指標で高い分離性を達成した。
• γ²の最尤推定値は、グリッドサーチで得られた最適なγ²（平均 2.3e5 ± 0.77e5）と同数量オーダーであり、実験でγ² = 1e5を用いることの妥当性が裏付けられた。