[论文解读] Desiderata for Representation Learning: A Causal Perspective

Zhaoran Wang, Michael I. Jordan|arXiv (Cornell University)|Sep 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 95被引用 17

一句话总结

本文提出一种因果框架，利用反事实数量和可观测推论，形式化表示学习中的关键期望属性——非虚假性、效率与解缠性。引入可计算度量如必要性概率/充分性概率（PN/PS）和支撑独立性评分（IOSS），使仅从单一观测数据集即可评估与优化表示，而无需真实特征。

ABSTRACT

Representation learning constructs low-dimensional representations to summarize essential features of high-dimensional data. This learning problem is often approached by describing various desiderata associated with learned representations; e.g., that they be non-spurious, efficient, or disentangled. It can be challenging, however, to turn these intuitive desiderata into formal criteria that can be measured and enhanced based on observed data. In this paper, we take a causal perspective on representation learning, formalizing non-spuriousness and efficiency (in supervised representation learning) and disentanglement (in unsupervised representation learning) using counterfactual quantities and observable consequences of causal assertions. This yields computable metrics that can be used to assess the degree to which representations satisfy the desiderata of interest and learn non-spurious and disentangled representations from single observational datasets.

研究动机与目标

• 使用因果推断原则形式化表示学习中的直观期望属性，如非虚假性、效率与解缠性。
• 解决在无手动标注特征或干预数据的情况下评估与优化表示的挑战。
• 开发基于因果理论的可计算、可观测度量，以评估学习表示的质量。
• 使表示学习算法能够利用这些度量针对特定期望属性进行优化，而无需干预或强结构假设。
• 证明解缠性与信息量并非相互冲突，支持两者可同时实现。

提出的方法

• 使用Pearl的因果概率（必要性概率PN与充分性概率PS）在监督表示学习中形式化非虚假性与效率。
• 从观测数据中推导PN与PS的可观测推论，实现在无需干预情况下的估计。
• 提出CAUSAL-REP算法，通过将PN与PS作为优化目标，学习既是标签必要又是充分原因的表示。
• 将因果解缠定义为表示维度之间不存在因果影响，通过在正则性条件下保持独立支撑来形式化。
• 引入支撑独立性评分（IOSS）作为可计算度量，利用可观测数据评估因果解缠性。
• 开发一种带IOSS惩罚项的表示学习算法，以在无监督设置（如VAE）中促进解缠表示。

实验结果

研究问题

• RQ1 如何利用因果概念正式定义并度量表示学习中的非虚假性？
• RQ2 在监督表示学习中，有哪些可观测度量可量化表示的效率与非虚假性？
• RQ3 如何将无监督表示学习中的解缠性形式化为一种因果属性？
• RQ4 表示维度之间的支撑独立性能否作为因果解缠的可靠代理？
• RQ5 表示学习中解缠性与信息量之间是否存在权衡？两者能否同时实现？

主要发现

• 在弱条件下，必要性概率（PN）与充分性概率（PS）可从观测数据中识别，从而实现对效率与非虚假性的直接测量。
• CAUSAL-REP算法成功学习到既是标签必要也是充分原因的表示，提升了对分布偏移的鲁棒性。
• IOSS度量有效捕捉了因果解缠性，并与干预鲁棒性相关，且在更强正则化下持续上升。
• 实验表明，增加IOSS正则化可提升解缠性，而不会降低模型拟合度或对数似然，表明与信息量之间无显著权衡。
• 基于IOSS的方法在生成因果解缠表示方面优于现有无监督解缠算法。
• 理论结果建立了具有独立支撑的表示的可识别性，支持将IOSS作为有效学习目标。