[论文解读] Is Independence all you need? On the Generalization of Representations Learned from Correlated Data

Frederik Träuble, Elliot Creager+5 more|arXiv (Cornell University)|Jun 14, 2020

Machine Learning and Data Classification被引用 9

一句话总结

本文研究了当数据中包含相关联的变分因子时，解耦方法的泛化能力，揭示了尽管解耦分数未能检测到这些相关性，但潜在表征仍会学习到这些相关性。作者提出使用弱监督、具有因果合理性的方法，有效解耦潜在相关性，表明学习独立机制——而非独立因子——对于实现稳健泛化至关重要。

ABSTRACT

Despite impressive progress in the last decade, it still remains an open challenge to build models that generalize well across multiple tasks and datasets. One path to achieve this is to learn meaningful and compact representations, in which different semantic aspects of data are structurally disentangled. The focus of disentanglement approaches has been on separating independent factors of variation despite the fact that real-world observations are often not structured into meaningful independent causal variables to begin with. In this work we bridge the gap to real-world scenarios by analyzing the behavior of most prominent methods and disentanglement scores on correlated data in a large scale empirical study (including 3900 models). We show that systematically induced correlations in the dataset are being learned and reflected in the latent representations, while widely used disentanglement scores fall short of capturing these latent correlations. Finally, we demonstrate how to disentangle these latent correlations using weak supervision, even if we constrain this supervision to be causally plausible. Our results thus support the argument to learn independent mechanisms rather than independent factors of variations.

研究动机与目标

• 研究解耦方法在现实场景中常见的相关数据上的表现。
• 评估广泛使用的解耦分数是否能准确反映学习表征中潜在相关性的真实存在。
• 探索弱监督、具有因果合理性的方法是否能有效解耦表征中的潜在相关性，而无需依赖完全的因子独立性。
• 挑战解耦应针对独立因子变化的假设，主张应转而学习独立机制。

提出的方法

• 在3,900个模型上开展了大规模实证研究，分析最先进解耦方法在系统性引入相关性的数据集上的行为。
• 使用解耦分数评估表征，但发现其在检测由数据结构引发的潜在相关性方面表现不足。
• 引入一种具有因果合理性的弱监督方法——即与潜在数据生成过程一致——以指导潜在相关性的解耦。
• 将弱监督应用于优化潜在表征，即使真实变分因子存在相关性，也能实现有效解耦。
• 通过测量解耦质量与跨任务泛化能力的提升，评估该方法的有效性。

实验结果

研究问题

• RQ1 当在具有相关变分因子的数据上训练时，解耦方法的表现如何？
• RQ2 标准解耦分数在多大程度上能检测到学习表征中的潜在相关性？
• RQ3 具有因果合理性的弱监督是否能有效解耦表征中的潜在相关性？
• RQ4 学习独立机制（而非独立因子）是否能在真实世界数据中带来更好的泛化性能？

主要发现

• 由最先进解耦方法学习到的潜在表征系统性地反映了训练数据中存在的相关性。
• 标准解耦分数无法检测到这些潜在相关性，导致对解耦质量的高估。
• 具有因果合理性的弱监督能成功解耦潜在相关性，即使底层因子存在相关性。
• 结果支持从聚焦独立因子变化转向学习独立机制的范式转变，以实现更好的泛化。
• 本研究表明，当仅依赖标准评估指标时，解耦性能在相关数据上会显著下降。