[论文解读] Visual Representation Learning Does Not Generalize Strongly Within the Same Domain

Lukas Schott, Julius von Kügelgen+7 more|arXiv (Cornell University)|Jul 17, 2021

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文研究了视觉表征学习方法是否能够泛化到同一领域内相同变化因素的分布外（OOD）变化。利用受控数据集（dSprites、Shapes3D、MPI3D以及一个新的CelebGlow数据集），作者在组合、插值和外推基准上评估了17种表征学习方法。主要发现是，所有模型均未能学习到真实的生成机制，在同一领域内泛化能力极差，尽管其在分布内性能表现强劲。

ABSTRACT

An important component for generalization in machine learning is to uncover underlying latent factors of variation as well as the mechanism through which each factor acts in the world. In this paper, we test whether 17 unsupervised, weakly supervised, and fully supervised representation learning approaches correctly infer the generative factors of variation in simple datasets (dSprites, Shapes3D, MPI3D) from controlled environments, and on our contributed CelebGlow dataset. In contrast to prior robustness work that introduces novel factors of variation during test time, such as blur or other (un)structured noise, we here recompose, interpolate, or extrapolate only existing factors of variation from the training data set (e.g., small and medium-sized objects during training and large objects during testing). Models that learn the correct mechanism should be able to generalize to this benchmark. In total, we train and test 2000+ models and observe that all of them struggle to learn the underlying mechanism regardless of supervision signal and architectural bias. Moreover, the generalization capabilities of all tested models drop significantly as we move from artificial datasets towards more realistic real-world datasets. Despite their inability to identify the correct mechanism, the models are quite modular as their ability to infer other in-distribution factors remains fairly stable, providing only a single factor is out-of-distribution. These results point to an important yet understudied problem of learning mechanistic models of observations that can facilitate generalization.

研究动机与目标

• 评估表征学习模型是否能够泛化到同一领域内相同因素变化的分布外变化。
• 探究模型是否学习了真实的生成机制，还是依赖于虚假的统计相关性。
• 评估监督类型（无监督、弱监督、全监督）和网络架构对分布内泛化的影响。
• 引入一个新的基准数据集CelebGlow，包含真实的面部因素（如年龄、微笑、发色），用于评估机制泛化能力。
• 提供一个标准化基准，包含评估脚本和排行榜，以指导未来在机制表征学习方面的研究。

提出的方法

• 作者设计了系统性的OOD测试划分——组合、插值和外推——基于受控数据集，其中变化因素（如大小、形状、颜色）可独立控制。
• 在17种表征学习方法上训练并评估了超过2000个模型，包括VAEs、GANs、MLPs、CNNs、ResNets以及专门架构如CoordConv和Spatial Transformers。
• 评估使用R²分数衡量模型在OOD条件下预测解耦因素的能力，R²分数越高表示对未见因素组合的泛化能力越强。
• 通过在Celeb-HQ数据集上微调的Glow模型的潜在空间遍历，构建了新的数据集CelebGlow，以支持真实面部属性的变化。
• 该基准包含所有可能的因子组合，并随评估脚本和GitHub上的排行榜一并发布，以支持可复现性和社区比较。

实验结果

研究问题

• RQ1 表征学习模型能否泛化到同一领域内相同因素变化的分布外组合？
• RQ2 使用不同监督信号（无监督、弱监督、全监督）训练的模型是否学习了真实的生成机制，还是依赖于虚假相关性？
• RQ3 当从人工数据集转向更真实的现实世界数据集时，模型的泛化性能如何退化？
• RQ4 当仅有一个因素处于分布外时，模型在预测上的模块化程度如何？
• RQ5 架构归纳偏置（如等变性、基于坐标的特征）能否提升分布内泛化能力？

主要发现

• 所有测试模型，无论监督信号或架构如何，对OOD因素组合的泛化能力均表现极差，R²分数在组合、插值和外推任务中显著下降。
• 在dSprites数据集中，表现最佳的模型（ResNet101）在外推任务上的R²分数仅为67.8±1.7，表明其推断未见因素值的能力有限。
• 在更真实的CelebGlow数据集中，即使是最先进的模型如ResNet101（ImageNet-21k）在外推任务上的R²分数也仅为41.6±8.5，相较于分布内性能出现急剧下降。
• 模型表现出强烈的模块化特性：当仅一个因素处于分布外时，对分布内因素的预测依然准确，表明对孤立分布偏移具有鲁棒性。
• 人工数据集（如dSprites）与真实世界数据集（如CelebGlow）之间的性能差距显著，模型在复杂、真实数据上的失败更为严重。
• 即使是最先进的模型如Rotation-EQ-big和Spatial Transformers，其外推能力也有限，多数基准上的R²分数低于70，表明其在学习机制方面存在根本性局限。