[论文解读] Multi-View Causal Representation Learning with Partial Observability

Dingling Yao, Danru Xu+6 more|arXiv (Cornell University)|Nov 7, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种在部分可观察性条件下统一的多视图因果表征学习框架，其中每个视图仅观测到潜在变量的子集。通过每个视图使用单一编码器的对比学习方法，该方法能够识别任意视图子集之间的共享信息，且识别结果在光滑双射意义下唯一，从而推广并扩展了现有在非线性 ICA、解缠以及因果表征学习方面的工作，且在更宽松的假设下实现。

ABSTRACT

We present a unified framework for studying the identifiability of representations learned from simultaneously observed views, such as different data modalities. We allow a partially observed setting in which each view constitutes a nonlinear mixture of a subset of underlying latent variables, which can be causally related. We prove that the information shared across all subsets of any number of views can be learned up to a smooth bijection using contrastive learning and a single encoder per view. We also provide graphical criteria indicating which latent variables can be identified through a simple set of rules, which we refer to as identifiability algebra. Our general framework and theoretical results unify and extend several previous works on multi-view nonlinear ICA, disentanglement, and causal representation learning. We experimentally validate our claims on numerical, image, and multi-modal data sets. Further, we demonstrate that the performance of prior methods is recovered in different special cases of our setup. Overall, we find that access to multiple partial views enables us to identify a more fine-grained representation, under the generally milder assumption of partial observability.

研究动机与目标

• 解决当多个视图仅观测到潜在变量子集而非全部时，识别因果表征的挑战。
• 在统一的理论框架下整合并扩展非线性 ICA、解缠和因果表征学习的现有成果。
• 证明通过单视图编码器的对比学习，任意视图子集之间的共享信息可在光滑双射意义下被识别。
• 通过“可识别性代数”提供图形化准则，用于判断在部分可观察性下哪些潜在变量可被恢复。
• 在数值、图像和多模态数据集上对框架进行实证验证，表明其可作为先前方法的特例被恢复。

提出的方法

• 形式化定义了一种多视图因果模型，其中每个视图是非线性函数作用于潜在变量子集的结果，且这些潜在变量之间可能存在因果关系。
• 提出一种对比学习目标，鼓励对视图特异性混合函数的不变性，同时保留视图之间的共享信息。
• 为每个视图使用单一编码器提取表征，使得任意视图子集之间的共享信息可在光滑双射意义下被识别。
• 提出“可识别性代数”——一组基于条件独立性和 d-分离的图形化规则，用于判断哪些潜在变量是可识别的。
• 采用两阶段采样过程：首先从分布中抽取潜在变量，然后通过视图特异性的非线性函数混合生成观测数据。
• 将该框架应用于恢复先前工作的已知结果，包括 von Kügelgen 等人（2021）和 Daunhawer 等人（2023）的工作，作为其特例。

实验结果

研究问题

• RQ1 在何种条件下，可通过对多个部分观测的视图之间的共享信息进行识别，且识别结果在光滑双射意义下唯一？
• RQ2 所提出的框架如何推广先前在非线性 ICA、解缠和因果表征学习方面的研究成果？
• RQ3 在部分可观察的多视图设置中，哪些图形化准则可用于判断哪些潜在变量是可识别的？
• RQ4 该框架是否能在特殊情况下恢复先前方法的性能，例如所有视图联合观测或潜在变量独立的情况？
• RQ5 与先前工作中的完全可观测性假设相比，部分可观测性在多大程度上能够实现更细粒度的表征学习？

主要发现

• 该框架证明，通过每个视图使用单一编码器的对比学习，任意视图子集之间的共享信息可在光滑双射意义下被识别。
• 该方法在 von Kügelgen 等人（2021）和 Daunhawer 等人（2023）的各自特例中，成功恢复了其方法性能，验证了本框架的通用性。
• 在具有潜在因果关系的多任务解缠设置中，模型在 1,000 次训练步内达到 99% 的分类准确率，表明其对依赖潜在变量具有鲁棒性。
• 可识别性代数提供了一套系统化方法，基于条件独立性和图结构判断哪些潜在变量可被恢复。
• 在数值、图像和多模态数据集上的实验表明，相较于先前工作中完全可观测性的假设，多个部分视图的访问能够实现更细粒度的表征学习。
• 该框架通过放宽潜在变量的独立同分布和独立性假设，推广了现有在非线性 ICA 和解缠方面的研究成果。