[论文解读] Exploring the Latent Space of Autoencoders with Interventional Assays

Felix Leeb, Sebastian Bauer+2 more|arXiv (Cornell University)|Jun 30, 2021

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

本文提出了一种名为'潜在响应'（latent responses）的框架，利用变分自编码器的局部收缩特性，探究学习表征中的因果结构。通过在潜在空间中施加干预，量化潜在变量之间的关系，引入了一种因果解耦分数（Causal Disentanglement Score, CDS），用于评估因果关联而非虚假相关性，并表明CDS与现有度量指标具有强相关性，同时避免了基于统计相关性的度量方法的缺陷。

ABSTRACT

Autoencoders exhibit impressive abilities to embed the data manifold into a low-dimensional latent space, making them a staple of representation learning methods. However, without explicit supervision, which is often unavailable, the representation is usually uninterpretable, making analysis and principled progress challenging. We propose a framework, called latent responses, which exploits the locally contractive behavior exhibited by variational autoencoders to explore the learned manifold. More specifically, we develop tools to probe the representation using interventions in the latent space to quantify the relationships between latent variables. We extend the notion of disentanglement to take the learned generative process into account and consequently avoid the limitations of existing metrics that may rely on spurious correlations. Our analyses underscore the importance of studying the causal structure of the representation to improve performance on downstream tasks such as generation, interpolation, and inference of the factors of variation.

研究动机与目标

• 为解决自监督表征学习中的可解释性挑战，其中自编码器在无监督条件下学习到解耦但不可解释的表征。
• 开发超越统计相关性的工具，以识别潜在变量与变化因素之间的因果关系。
• 通过理解学习流形的因果几何结构，改进生成、插值和推理等下游任务。
• 提供一种无需真实标签的诊断框架，使真实世界和合成数据的分析成为可能。
• 通过聚焦因果关联而非虚假相关性，克服现有解耦度量方法的局限性。

提出的方法

• 该框架在潜在空间中实施局部干预，以估计某一潜在变量的变化对重构数据的影响，将这些影响量化为'潜在响应'。
• 通过估计潜在空间中数据流形的外在曲率，实现语义上有意义的插值，并评估几何结构。
• 通过在已知变化因素上施加条件干预并测量因果影响，计算因果解耦分数（CDS），从而与基于相关性的度量相区分。
• 该方法依赖于VAE的局部收缩特性，即潜在空间中的微小扰动会引发重构数据中可预测且平滑的变化。
• 通过干预效应构建响应矩阵与因果图，以可视化潜在维度之间的依赖关系及父子关系。
• 该方法应用于具有已知变化因素的合成数据集（如3D-Shapes），实现与真实标签的验证。

实验结果

研究问题

• RQ1 如何在变分自编码器的潜在空间中区分因果关联与虚假相关？
• RQ2 现有解耦度量在多大程度上因依赖统计相关性而非因果结构而失效？
• RQ3 基于干预的分析能否揭示潜在变量的真实因果图，即使相关性具有误导性？
• RQ4 因果解耦分数（CDS）与标准度量（如DCI-D）相比，在识别有意义解耦方面表现如何？
• RQ5 潜在响应分析能否通过捕捉数据流形的真实几何与因果结构，提升插值与生成的质量？

主要发现

• 因果解耦分数（CDS）与其它解耦度量高度相关，但始终优于DCI-D度量，避免了虚假相关性的影响。
• 在3D-Shapes数据集中，潜在维度20被识别为维度4的因果父节点，而维度4与'scale'存在虚假相关性——这一关系被基于相关性的度量所忽略。
• 条件响应矩阵正确识别出维度20而非维度4对'scale'因子具有影响，揭示了相关性方法无法捕捉的因果链。
• 潜在响应矩阵与推导出的因果图表明，对维度20的干预会通过中间潜在变量同时影响'scale'和'shape'，展示了多层级的因果影响。
• 该框架成功识别出地板色调仅受维度16和22的因果影响，证实了因果结构推断的正确性。
• 该方法在具有轴对齐结构的解耦表征中表现良好，但在高保真度、高维生成模型中面临计算局限。