[论文解读] Disentanglement of Correlated Factors via Hausdorff Factorized Support

Karsten Roth, Mark Ibrahim+3 more|arXiv (Cornell University)|Oct 13, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

该论文提出 Hausdorff Factorized Support (HFS)，一种新型解耦准则，通过仅强制成对因子解耦支持，放松了生成因子间统计独立性的不现实假设。通过最小化预测因子支持与真实因子支持之间的 Hausdorff 距离，HFS 在任意相关性下实现鲁棒解耦，在 Shapes3D、MPI3D 和 DSprites 等基准测试中，解耦性能相对提升超过 60%，即使在严重相关性偏移下也表现优异。

ABSTRACT

A grand goal in deep learning research is to learn representations capable of generalizing across distribution shifts. Disentanglement is one promising direction aimed at aligning a model's representation with the underlying factors generating the data (e.g. color or background). Existing disentanglement methods, however, rely on an often unrealistic assumption: that factors are statistically independent. In reality, factors (like object color and shape) are correlated. To address this limitation, we consider the use of a relaxed disentanglement criterion -- the Hausdorff Factorized Support (HFS) criterion -- that encourages only pairwise factorized \emph{support}, rather than a factorial distribution, by minimizing a Hausdorff distance. This allows for arbitrary distributions of the factors over their support, including correlations between them. We show that the use of HFS consistently facilitates disentanglement and recovery of ground-truth factors across a variety of correlation settings and benchmarks, even under severe training correlations and correlation shifts, with in parts over $+60\%$ in relative improvement over existing disentanglement methods. In addition, we find that leveraging HFS for representation learning can even facilitate transfer to downstream tasks such as classification under distribution shifts. We hope our original approach and positive empirical results inspire further progress on the open problem of robust generalization. Code available at https://github.com/facebookresearch/disentangling-correlated-factors.

研究动机与目标

• 为解决现有解耦方法假设生成因子统计独立的局限性，该假设在真实世界数据中不现实。
• 开发一种在生成因子间存在任意相关性时仍有效的解耦准则。
• 通过聚焦于因子解耦支持而非因子分解分布，实现在分布偏移下的鲁棒表征学习。
• 提供一种计算上可行的方法，在不依赖独立性假设的同时保持解耦质量。
• 在具有相关因子的基准测试中，展示改进的解耦性能和下游迁移性能。

提出的方法

• 提出 Hausdorff Factorized Support (HFS) 准则，通过最小化潜在因子经验支持与因子分解参考集之间的 Hausdorff 距离。
• 通过仅关注成对因子分解支持，放松了严格的独立性假设，允许支持内存在任意联合分布。
• 使用成对 Hausdorff 距离衡量与因子分解支持的偏离程度，实现在自编码器模型中的高效优化。
• 将 HFS 目标作为正则化项应用于变分自编码器框架中，利用编码器-解码器架构的归纳偏置。
• 采用基于批量成对组合的 Hausdorff 距离可微近似，以支持端到端训练。
• 通过在潜在因子对上采用子采样策略，在保持性能的同时降低计算成本。

实验结果

研究问题

• RQ1 当生成因子相关时，是否可以在不假设统计独立性的前提下实现解耦？
• RQ2 仅强制成对因子分解支持是否能带来优于完全因子分解独立性的解耦效果？
• RQ3 HFS 准则在严重相关性偏移和共享混淆因子条件下表现如何？
• RQ4 HFS 是否能提升在分布偏移下的下游迁移性能？
• RQ5 HFS 准则在具有不同因子相关程度的多样化基准测试中是否具有鲁棒性？

主要发现

• 在 Shapes3D、MPI3D 和 DSprites 的强相关性设置下，HFS 相较于最先进方法，解耦性能相对提升超过 60%。
• 该方法在所有测试的相关性配置中（包括成对、多对及共享混淆设置）均持续优于基线方法。
• 即使真实因子高度相关（如物体类型与所有其他因子混淆），HFS 仍能实现有效解耦。
• 该方法促进鲁棒表征学习，在分布偏移下提升了下游分类准确率。
• HFS 通过在真实因子分布支持内保持解耦，展现出对分布外偏移的强大泛化能力。
• 该方法计算高效且可扩展，其可微的 Hausdorff 距离近似支持端到端训练。