[论文解读] Interventional Causal Representation Learning

Kartik Ahuja, Divyat Mahajan+2 more|arXiv (Cornell University)|Sep 24, 2022

Bayesian Modeling and Causal Inference被引用 6

一句话总结

该论文提出了一种新颖的因果表征学习框架，利用干预数据在无需强分布假设的前提下，可证明地识别潜在因果因子。通过利用干预引起的潜在支持变化中的几何特征，该方法在完美 do-干预下可实现至排列和缩放的精确识别，在非完美干预下可实现分块仿射识别，显著推进了表征学习的解缠程度，突破了仅依赖观测数据的限制。

ABSTRACT

Causal representation learning seeks to extract high-level latent factors from low-level sensory data. Most existing methods rely on observational data and structural assumptions (e.g., conditional independence) to identify the latent factors. However, interventional data is prevalent across applications. Can interventional data facilitate causal representation learning? We explore this question in this paper. The key observation is that interventional data often carries geometric signatures of the latent factors' support (i.e. what values each latent can possibly take). For example, when the latent factors are causally connected, interventions can break the dependency between the intervened latents' support and their ancestors'. Leveraging this fact, we prove that the latent causal factors can be identified up to permutation and scaling given data from perfect $do$ interventions. Moreover, we can achieve block affine identification, namely the estimated latent factors are only entangled with a few other latents if we have access to data from imperfect interventions. These results highlight the unique power of interventional data in causal representation learning; they can enable provable identification of latent factors without any assumptions about their distributions or dependency structure.

研究动机与目标

• 解决当仅依赖观测数据时，由于分布和结构上的模糊性，难以识别表征学习中因果潜在因子的挑战。
• 探究在机器人学、基因组学和实验科学中常见的干预数据，是否能够实现潜在因果因子的可证明识别。
• 开发一种方法，在完美 do-干预下可识别潜在因子至排列和缩放，而在非完美干预下实现分块仿射识别。
• 通过证明观测数据中潜在因子支持的独立性可实现识别，即使潜在因子本身相关，从而扩展经典独立成分分析（ICA）的结果。
• 在合成数据和基于图像的数据上对理论进行实证验证，展示使用干预数据可实现更优的解缠效果。

提出的方法

• 该方法利用干预引起的潜在因子支持中蕴含的几何特征：完美 do-干预使被干预潜在因子的支持与其祖先独立。
• 对于完美 do-干预，论文证明可通过多项式或一般映射，将被干预潜在因子识别至平移和缩放变换。
• 对于非完美干预，当干预使被干预潜在因子的支持与其祖先独立时，该方法可实现分块仿射识别——其中估计的潜在因子仅与少数其他因子纠缠。
• 该方法采用两阶段自编码器：首先，深度编码器从观测数据中学习高维表征；其次，利用干预数据估计从被干预潜在因子到其支持的线性映射（γi）。
• 该框架使用 ResNet-18 主干网络处理图像数据，并采用反卷积解码器，通过在干预数据上训练的 MLP 回归器估计 γi 映射。
• 超参数通过 Adam 优化器配合权重衰减和早停法进行调优，性能通过重建损失、R² 和平均相关系数（MCC）评估，以衡量识别质量。

实验结果

研究问题

• RQ1 干预数据是否能够在无需强分布假设的前提下，实现对表征学习中潜在因果因子的可证明识别？
• RQ2 哪些干预数据中的几何特征可用于识别潜在因子？它们与观测数据中的特征有何不同？
• RQ3 干预结构（完美 vs. 非完美）如何影响潜在因子的可识别性？
• RQ4 当仅在观测数据中潜在因子支持相互独立时，是否仍可实现识别，即使潜在因子本身相关？
• RQ5 增加每个潜在维度的干预次数在多大程度上能提升识别性能？

主要发现

• 在完美 do-干预下，论文证明即使不假设映射为多项式形式，被干预潜在因子仍可被识别至平移和缩放变换。
• 当对同一潜在维度施加多个 do-干预时，即使映射非多项式，仍可实现近似识别。
• 对于非完美干预，当干预使被干预潜在因子的支持与其祖先独立时，该方法可实现分块仿射识别，且完美干预作为特例包含在内。
• 当观测数据中潜在因子支持相互独立时，该方法可实现至排列、平移和缩放的识别，从而将经典 ICA 推广至潜在因子相关的情形。
• 实证结果表明，识别的平均相关系数（MCC）随每个潜在维度干预次数的增加而提升：在均匀潜在分布下，从 1 次干预的 33.18 提升至 5 次干预的 88.30。
• 重建均方误差（MSE）在不同干预次数下保持稳定（例如，均匀分布下为 514.25 ± 61.8），而 R² 值保持较高（0.78–0.91），表明高维表征与真实潜在因子之间存在强线性关系。