[论文解读] Group invariance principles for causal generative models

Michel Besserve, Naji Shajarisales+2 more|arXiv (Cornell University)|May 5, 2017

Biomedical Text Mining and Ontologies被引用 21

一句话总结

本文提出了一种基于群论的框架，统一并推广了基于原因与机制独立性（ICM）原则的因果推断方法。通过将通用群变换应用于原因变量，并利用对比函数评估不变性，该方法实现了鲁棒的因果生成建模，在无监督学习和生成对抗网络（GANs）中，训练稳定性和数据分布鲁棒性自然源于不变性原则。

ABSTRACT

The postulate of independence of cause and mechanism (ICM) has recently led to several new causal discovery algorithms. The interpretation of independence and the way it is utilized, however, varies across these methods. Our aim in this paper is to propose a group theoretic framework for ICM to unify and generalize these approaches. In our setting, the cause-mechanism relationship is assessed by comparing it against a null hypothesis through the application of random generic group transformations. We show that the group theoretic view provides a very general tool to study the structure of data generating mechanisms with direct applications to machine learning.

研究动机与目标

• 将基于原因与机制独立性（ICM）原则的多种因果推断算法统一到一个理论框架之下。
• 将ICM推广至原因-效应对之外的场景，涵盖隐变量模型和复杂生成结构。
• 通过群作用和对比函数，为数据生成机制中的‘通用性’提供原则性定义。
• 展示该框架在改进无监督学习和生成建模方面的实用性，尤其在GANs中的应用。
• 建立ICM与对抗训练之间的联系，表明GANs通过群不变对比隐式地满足了不变性要求。

提出的方法

• 该框架使用作用于原因变量的通用群变换，建模机制对原因扰动的响应方式。
• 定义了一个对比函数，用于评估机制在随机群作用下是否仍保持典型性（即通用性），从而形式化ICM原则。
• 通过群作用下的期望对比值进行评估：⟨D⟩_{G,z₀} = E_{g∼μ_G}[log(D(G(gz₀)))], 与GAN训练目标建立联系。
• 通过用群不变的统计检验替代以往方法中的特定独立性度量，推广了先前的ICM方法。
• 通过检测违反不变性的非通用配置，实现因果结构发现和鲁棒生成建模。
• 将该框架应用于分析和改进GANs，确保在判别器的对比函数下，经变换的原因（如噪声向量）仍能生成合理输出。

实验结果

研究问题

• RQ1 如何以一种统一的方式形式化ICM原则，以涵盖多种因果推断方法？
• RQ2 群作用在定义原因-机制关系的通用性中扮演何种角色？
• RQ3 群论视角能否将基于ICM的推理从原因-效应对扩展到隐变量模型和层次化模型？
• RQ4 机制在通用群变换下的不变性与生成建模中的鲁棒性有何关联？
• RQ5 GAN中的对抗训练在多大程度上通过群不变对比隐式满足了ICM假设？

主要发现

• 群论框架为基于ICM的因果推断提供了通用且统一的基础，涵盖了Janzing等人（2010）和Shajarisales等人（2015）等先前方法。
• 该框架在视觉感知任务中实现了因果结构发现，例如在部分物体遮挡的场景中识别遮挡顺序。
• GAN的训练目标可被解释为在噪声输入的通用群变换下强制保持不变性，与ICM原则一致。
• GAN的实证成功可归因于其隐式满足了通用性条件：在通用输入扰动下，输出仍保持典型性。
• 该框架表明，不仅在输入层，而且在中间层也强制不变性，可提升GAN的鲁棒性和解耦性。
• GAN中的对比函数（由判别器实现）作为群变换下典型性的度量，形式化了深度生成模型中的ICM假设。