[论文解读] A theory of independent mechanisms for extrapolation in generative models

Michel Besserve, Rémy Sun+2 more|arXiv (Cornell University)|Apr 1, 2020

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一套理论框架，利用机制独立性原则（IM）来增强深度生成模型在未观测到因果结构时的外推能力。通过在层间施加谱独立性（via group-invariant optimization），该方法提升了模型在训练数据分布之外的泛化能力，实验表明在变分自编码器（VAEs）和生成对抗网络（GANs）中，失真程度降低，干预定位更加准确。

ABSTRACT

Generative models can be trained to emulate complex empirical data, but are they useful to make predictions in the context of previously unobserved environments? An intuitive idea to promote such extrapolation capabilities is to have the architecture of such model reflect a causal graph of the true data generating process, such that one can intervene on each node independently of the others. However, the nodes of this graph are usually unobserved, leading to overparameterization and lack of identifiability of the causal structure. We develop a theoretical framework to address this challenging situation by defining a weaker form of identifiability, based on the principle of independence of mechanisms. We demonstrate on toy examples that classical stochastic gradient descent can hinder the model's extrapolation capabilities, suggesting independence of mechanisms should be enforced explicitly during training. Experiments on deep generative models trained on real world data support these insights and illustrate how the extrapolation capabilities of such models can be leveraged.

研究动机与目标

• 解决在未观测到且无法识别因果结构时，深度生成模型外推能力的挑战。
• 在无监督设置下，提出一种基于机制独立性（IM）的较弱可识别性形式，使其可行。
• 证明标准随机梯度下降（SGD）训练可能因机制间的干扰而损害外推能力。
• 提出一种方法，通过在层间强制实现通用性——特别是谱独立性——以促进稳健的、类似因果的泛化。
• 在真实世界数据上的 VAE 和 GAN 上实证验证该框架，通过受控干预展示改进的外推能力。

提出的方法

• 引入 \mathcal{G}-通用性概念，即在群 \mathcal{G} 下对模型参数进行干预时，保持结构不变性，从而实现外推。
• 将谱依赖比（SDR）定义为衡量卷积滤波器与各层激活图之间统计独立性的指标。
• 制定一种训练目标，通过在多个层次（图像、中间、细粒度）最小化 SDR，以强制实现机制独立性。
• 将 SDR 最小化与 VAE 目标的标准 SGD 更新交错进行，以平衡生成性能与机制独立性。
• 利用群不变性原理以灵活、非参数化的方式量化 IM，避免依赖于观测到的因果变量。
• 比较 VAE 的解码器（生成器）与编码器，评估机制独立性中的不对称性，表明生成器中存在 IM 并不意味着其逆向机制也具备 IM。

实验结果

研究问题

• RQ1 在无监督深度生成模型中，是否可以在未观测到因果变量的情况下，基于机制独立性建立一种较弱的可识别性形式？
• RQ2 标准随机梯度下降如何影响模型在训练分布之外的外推能力？
• RQ3 在卷积生成模型中，层间谱独立性在多大程度上可作为机制独立性的代理？
• RQ4 在训练过程中强制实现谱独立性是否能提升对隐藏层干预的定位精度与鲁棒性？
• RQ5 生成器的通用性与编码器相比如何？这对因果结构恢复意味着什么？

主要发现

• 经典 SGD 训练可能导致干预期间出现失真增加和周期性干扰模式，表明外推能力下降。
• 实验表明，在训练期间最小化 SDR 可限制均方误差的增长，尤其在细粒度和中间层表现更优。
• VAE 解码器的 SDR 接近 1，表明谱独立性较强，支持 \mathcal{S}-通用性；而编码器则表现出更宽泛、独立性较弱的分布。
• 在 SDR 最小化的情况下，对中间层和细粒度层的干预表现出更精确的扰动定位，优于标准 VAE 训练。
• 该框架表明，通过谱控制强制实现机制独立性，可提升模型模拟数据生成过程变化的能力。
• 结果支持谱独立性是卷积生成模型中机制独立性的可行代理，可实现更稳健、可解释的外推。