[论文解读] Demystifying Inductive Biases for $\beta$-VAE Based Architectures

Dominik Zietlow, Michal Rolínek+1 more|arXiv (Cornell University)|Feb 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 6

一句话总结

本文表明，基于β-VAE的架构在表征解耦上的成功，源于其对数据方差主成分的归纳偏置，而这些主成分由生成因子所结构化。通过引入微小的、保持结构的扰动，破坏这种方差对齐，同时保留生成因子，作者证明了VAE-based模型会因此无法实现表征解耦——而诸如PCL等非变分方法则保持鲁棒，从而揭示了该特定归纳偏置的依赖性。

ABSTRACT

The performance of $\beta$-Variational-Autoencoders ($\beta$-VAEs) and their variants on learning semantically meaningful, disentangled representations is unparalleled. On the other hand, there are theoretical arguments suggesting the impossibility of unsupervised disentanglement. In this work, we shed light on the inductive bias responsible for the success of VAE-based architectures. We show that in classical datasets the structure of variance, induced by the generating factors, is conveniently aligned with the latent directions fostered by the VAE objective. This builds the pivotal bias on which the disentangling abilities of VAEs rely. By small, elaborate perturbations of existing datasets, we hide the convenient correlation structure that is easily exploited by a variety of architectures. To demonstrate this, we construct modified versions of standard datasets in which (i) the generative factors are perfectly preserved; (ii) each image undergoes a mild transformation causing a small change of variance; (iii) the leading extbf{VAE-based disentanglement architectures fail to produce disentangled representations whilst the performance of a non-variational method remains unchanged}. The construction of our modifications is nontrivial and relies on recent progress on mechanistic understanding of $\beta$-VAEs and their connection to PCA. We strengthen that connection by providing additional insights that are of stand-alone interest.

研究动机与目标

• 识别使基于β-VAE的架构在标准基准上实现最先进解耦性能的归纳偏置。
• 探究该成功是否源于数据中可利用的结构性质，而非仅架构创新。
• 构建修改后的数据集，保留生成因子但破坏VAE所利用的方差结构。
• 检验在这些修改下VAE解耦失败是否源于该结构性质的丧失，而非架构缺陷。
• 在受控数据扰动下，比较变分方法与非变分方法的鲁棒性。

提出的方法

• 作者通过在图像上施加微小、局部的方差增加扰动，构建了dSprites和Shapes3D的修改版本，保留生成因子的同时改变局部相关性结构。
• 这些扰动基于Rolinek等人（2019）关于VAE恢复非线性主成分分析的见解，旨在使主导非线性主成分偏离真实的生成因子。
• 作者在原始和修改后的数据集上评估了多种β-VAE变体（如β-VAE、Fac. VAE、TC-β-VAE、Slow-VAE）以及非变分模型PCL。
• 性能通过MIG、SAP和DCI分数衡量，并通过线性搜索进行超参数调优，以评估鲁棒性。
• 他们还引入像素级噪声作为基线扰动，以比较结构化与非结构化数据损坏的影响。
• 分析聚焦于解耦度量和重建质量的变化，特别是在过度剪枝条件下的表现。

实验结果

研究问题

• RQ1 是什么归纳偏置使得基于β-VAE的模型在dSprites和Shapes3D等标准数据集上实现高解耦性能？
• RQ2 能否通过在保留生成因子的同时改变数据的方差结构，系统性地降低VAE模型的解耦性能？
• RQ3 为何非变分方法（如PCL）对这类扰动保持鲁棒，而变分模型则失败？
• RQ4 Slow-VAE等架构的成功在多大程度上依赖于与标准β-VAE相同的方差结构偏置？
• RQ5 是否可以以一种选择性地破坏VAE但不影响其他表征学习方法的方式，操控数据的非线性主成分结构？

主要发现

• 在生成因子被保留但方差结构被扰动的修改数据集上，所有基于VAE的架构在MIG分数上均出现显著下降——例如，β-VAE在dSprites上的MIG从0.23 ± 0.08降至0.07 ± 0.09。
• 使用稀疏时间先验以解决非可识别性问题的Slow-VAE，其性能也显著下降，表明其仍依赖于相同的方差结构偏置。
• PCL作为非变分方法，在原始和修改数据集上的MIG分数几乎保持不变（dSprites上分别为0.21 ± 0.03和0.24 ± 0.07），显示出对扰动的鲁棒性。
• 噪声基线对Shapes3D影响甚微，但在dSprites上造成明显下降，这是由于其本征方差较低，表明噪声无法复制目标结构扰动。
• 超参数调优可在一定程度上恢复性能，但仅在模型过度剪枝潜在空间时有效，这会降低重建质量，因此并非有效解决方案。
• 结果证实，基于VAE的解耦核心归纳偏置在于与数据方差主成分对齐，而非架构设计本身。