[论文解读] Embrace the Gap: VAEs Perform Independent Mechanism Analysis

Patrik Reizinger, Luigi Gresele+7 more|arXiv (Cornell University)|Jun 6, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

该论文表明，变分自编码器（VAEs）通过利用证据下界（ELBO）与精确对数似然之间的差距，实现了独立机制分析（IMA）。在近确定性解码器极限下，最优编码器近似地反演了解码器（自洽性），导致ELBO收敛到一种正则化似然，该正则化似然在解码器中强制实现列正交雅可比矩阵——这是一种归纳偏置，当数据生成过程满足IMA假设时，可实现真实解耦潜在因子的恢复。

ABSTRACT

Variational autoencoders (VAEs) are a popular framework for modeling complex data distributions; they can be efficiently trained via variational inference by maximizing the evidence lower bound (ELBO), at the expense of a gap to the exact (log-)marginal likelihood. While VAEs are commonly used for representation learning, it is unclear why ELBO maximization would yield useful representations, since unregularized maximum likelihood estimation cannot invert the data-generating process. Yet, VAEs often succeed at this task. We seek to elucidate this apparent paradox by studying nonlinear VAEs in the limit of near-deterministic decoders. We first prove that, in this regime, the optimal encoder approximately inverts the decoder -- a commonly used but unproven conjecture -- which we refer to as {\em self-consistency}. Leveraging self-consistency, we show that the ELBO converges to a regularized log-likelihood. This allows VAEs to perform what has recently been termed independent mechanism analysis (IMA): it adds an inductive bias towards decoders with column-orthogonal Jacobians, which helps recovering the true latent factors. The gap between ELBO and log-likelihood is therefore welcome, since it bears unanticipated benefits for nonlinear representation learning. In experiments on synthetic and image data, we show that VAEs uncover the true latent factors when the data generating process satisfies the IMA assumption.

研究动机与目标

• 解决一个悖论：尽管最大似然估计在理论上不可行，VAEs为何仍能成功学习解耦表征。
• 在近确定性解码器范式下，形式化并证明最优VAE编码器的自洽性。
• 表明在自洽性下，ELBO收敛到一种正则化对数似然，引入对解码器雅可比矩阵列正交性的归纳偏置。
• 验证当数据生成过程满足独立机制分析（IMA）假设时，该正则化可实现真实潜在因子的恢复。

提出的方法

• 证明自洽性：在近确定性极限下，最优变分后验编码器近似反演确定性解码器。
• 推导ELBO在极限情况下的形式，其为一种正则化对数似然，其中正则化项强制解码器雅可比矩阵的列正交性。
• 建立该正则化与独立机制分析（IMA）之间的对应关系，后者有助于实现解耦表征学习。
• 使用具有对角后验协方差的高斯VAE，使编码器雅可比矩阵实现行正交性，等价于解码器的列正交性。
• 在满足IMA假设的合成数据（Möbius变换）和图像数据（Sprites）上训练VAEs，以评估解耦程度。
• 比较固定γ²（解码器噪声方差）与通过最大似然估计的γ²的性能，确认在合成实验中最优γ²接近1e5。

实验结果

研究问题

• RQ1 尽管标准潜在变量模型缺乏可识别性，VAEs为何仍能成功学习解耦表征？
• RQ2 在非线性VAEs的近确定性极限下，编码器对解码器的近似反演（自洽性）是否成立？
• RQ3 在确定性极限下，ELBO是否收敛到正则化似然？其正则化形式为何？
• RQ4 该正则化是否能在解码器中诱导出列正交雅可比矩阵，从而实现独立机制分析（IMA）？
• RQ5 在何种条件下，VAEs能够在合成数据和真实世界数据中恢复真实的潜在因子？

主要发现

• 在近确定性极限下，最优VAE编码器近似反演了解码器，验证了自洽性猜想。
• 在自洽性下，ELBO收敛到一种正则化对数似然，其中正则化项强制解码器雅可比矩阵的列正交性。
• 该正则化对应于独立机制分析（IMA），已知可促进真实潜在因子的恢复。
• 在Möbius变换的合成实验中，当IMA假设成立时，VAEs成功恢复了真实的潜在因子。
• 在Sprites数据集上，使用合适γ²超参数的VAEs在MCC和MIG等指标上实现了高解耦程度。
• γ²的最大似然估计值与通过网格搜索找到的最优γ²处于同一数量级（均值2.3e5 ± 0.77e5），验证了实验中γ² = 1e5的选择合理性。