[论文解读] How Robust is Unsupervised Representation Learning to Distribution Shift?

Yuge Shi, Imant Daunhawer+3 more|arXiv (Cornell University)|Jun 17, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文研究了在分布偏移下，无监督表征学习（SSL 和自编码器）与有监督学习（SL）的鲁棒性。利用受控的合成数据集和真实世界领域的泛化数据集，结果表明，当使用在分布外（OOD）数据上训练的线性头来隔离表征鲁棒性与分类头偏差时，SSL 和自编码器表征在极端和细微的分布偏移下，其泛化能力显著优于有监督学习。

ABSTRACT

The robustness of machine learning algorithms to distributions shift is primarily discussed in the context of supervised learning (SL). As such, there is a lack of insight on the robustness of the representations learned from unsupervised methods, such as self-supervised learning (SSL) and auto-encoder based algorithms (AE), to distribution shift. We posit that the input-driven objectives of unsupervised algorithms lead to representations that are more robust to distribution shift than the target-driven objective of SL. We verify this by extensively evaluating the performance of SSL and AE on both synthetic and realistic distribution shift datasets. Following observations that the linear layer used for classification itself can be susceptible to spurious correlations, we evaluate the representations using a linear head trained on a small amount of out-of-distribution (OOD) data, to isolate the robustness of the learned representations from that of the linear head. We also develop "controllable" versions of existing realistic domain generalisation datasets with adjustable degrees of distribution shifts. This allows us to study the robustness of different learning algorithms under versatile yet realistic distribution shift conditions. Our experiments show that representations learned from unsupervised learning algorithms generalise better than SL under a wide variety of extreme as well as realistic distribution shifts.

研究动机与目标

• 研究无监督表征学习（SSL 和自编码器）在分布偏移下的鲁棒性，这是现实世界机器学习部署中的关键挑战。
• 解决当前在分布偏移场景下对无监督方法缺乏系统性评估的问题，因为目前相关研究主要集中在有监督学习上。
• 将学习到的表征鲁棒性与线性分类头的偏差分离开来，以避免后者扭曲性能比较。
• 开发可控制的、真实的领域泛化数据集，其分布偏移程度可调，以实现更细致的评估。
• 提供实证证据，表明在分布偏移下，输入驱动的无监督目标所学习的表征比目标驱动的有监督目标更具鲁棒性。

提出的方法

• 设计并实现了真实世界领域泛化数据集（WILDS-Camelyon17 和 FMoW）的可控版本，通过基于相关性的偏移参数 $ r_{\text{id}} $ 调整分布偏移强度。
• 使用在少量分布外（OOD）数据上训练的线性头，评估 SSL（如 SimCLR、MoCo）和自编码器（AE）模型，以隔离表征鲁棒性与特定分类头的偏差。
• 在合成数据集（如 MNIST-CIFAR、CdSprites）和真实数据集（如 WILDS）上进行了大量实验，评估在极端和细微分布偏移下的性能。
• 采用线性探针评估协议，并使用在 OOD 数据上训练的分类头，确保不同模型之间的公平比较，避免分类头特定的虚假相关性带来的干扰。
• 通过在 OOD 测试集上的准确率以及在不同偏移水平下性能的变化（即偏移敏感度）来衡量模型性能，结果在多种偏移强度下报告。
• 在受控和真实分布偏移条件下，对 SSL、AE 和 SL 模型在多个指标上进行比较，包括分布内（ID）准确率、OOD 准确率以及对偏移的鲁棒性。

实验结果

研究问题

• RQ1 在极端分布偏移下，SSL 和自编码器表征与有监督表征相比，在 OOD 泛化方面表现如何？
• RQ2 线性分类头在多大程度上引入了虚假相关性，从而扭曲了在分布偏移设置下的性能评估？
• RQ3 是否可以通过可控制的、真实的领域泛化数据集（其偏移强度可调）来改善表征鲁棒性的评估？
• RQ4 在现实世界场景中，SSL 和 AE 表征在不同分布偏移程度下的鲁棒性与 SL 相比如何？
• RQ5 在分布偏移下，无监督学习的输入驱动目标是否比有监督学习的目标驱动目标产生更具鲁棒性的表征？

主要发现

• 在所有测试的分布偏移设置下，包括极端合成偏移和真实领域偏移，SSL 表征实现了与有监督学习相当或更优的 OOD 准确率。
• 在 WILDS-Camelyon17 数据集上，SSL 模型相比有监督学习在 OOD 准确率上提升了 3%；在 FMoW 上则提升了 5%，表明在真实偏移下具有持续的优越性。
• 在 OOD 数据上训练的线性头能有效隔离表征鲁棒性，揭示出 SSL 和 AE 表征本身比有监督学习表征更具鲁棒性。
• SSL 模型在不同分布偏移强度下表现出最低的偏移敏感度，表明其性能在偏移强度增加时依然稳定。
• 在真实数据集上，基于自编码器的模型对分布偏移的敏感度最低，但在复杂数据（如 FMoW）上 OOD 性能较低，表明其在稳定性与表征能力之间存在权衡。
• 本研究证实了在分布偏移评估中存在线性头偏差，表明标准评估协议可能扭曲模型鲁棒性的真实表现，并主张在未来比较中采用在 OOD 数据上训练的线性头。