[论文解读] A Closer Look at Model Adaptation using Feature Distortion and Simplicity Bias

Puja Trivedi, Danai Koutra+1 more|arXiv (Cornell University)|Mar 23, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文指出，尽管LP+FT通过减少特征失真来提升分布外（OOD）泛化能力，但仍受制于简单性偏差——即依赖于简单且脆弱的特征，从而损害了校准性和鲁棒性等安全指标。为解决此问题，作者提出了基于虚拟对抗训练、基于不确定性的扰动以及稀疏汤（sparse soups）的硬度促进型线性探测（LP）变体，显著降低了简单性偏差，并在三个真实世界数据集上同时提升了安全性和泛化性能。

ABSTRACT

Advances in the expressivity of pretrained models have increased interest in the design of adaptation protocols which enable safe and effective transfer learning. Going beyond conventional linear probing (LP) and fine tuning (FT) strategies, protocols that can effectively control feature distortion, i.e., the failure to update features orthogonal to the in-distribution, have been found to achieve improved out-of-distribution generalization (OOD). In order to limit this distortion, the LP+FT protocol, which first learns a linear probe and then uses this initialization for subsequent FT, was proposed. However, in this paper, we find when adaptation protocols (LP, FT, LP+FT) are also evaluated on a variety of safety objectives (e.g., calibration, robustness, etc.), a complementary perspective to feature distortion is helpful to explain protocol behavior. To this end, we study the susceptibility of protocols to simplicity bias (SB), i.e. the well-known propensity of deep neural networks to rely upon simple features, as SB has recently been shown to underlie several problems in robust generalization. Using a synthetic dataset, we demonstrate the susceptibility of existing protocols to SB. Given the strong effectiveness of LP+FT, we then propose modified linear probes that help mitigate SB, and lead to better initializations for subsequent FT. We verify the effectiveness of the proposed LP+FT variants for decreasing SB in a controlled setting, and their ability to improve OOD generalization and safety on three adaptation datasets.

研究动机与目标

• 探究为何现有微调协议（如LP、FT和LP+FT）尽管泛化能力较强，但在安全指标上仍表现不佳。
• 考察简单性偏差（即模型倾向于选择简单、非鲁棒的特征）在微调过程中如何损害模型安全性。
• 设计改进的LP+FT协议，以同时缓解特征失真与简单性偏差，实现更好的分布外泛化与安全性。
• 验证硬度促进型LP初始化是否能带来更鲁棒的微调，并在安全与泛化基准上取得性能提升。

提出的方法

• 使用具有简单与复杂特征之间受控相关性的合成多米诺骨牌数据集，以隔离并度量简单性偏差。
• 在通用性（ID/OOD准确率）与安全性（校准性、鲁棒性、异常检测）指标上评估标准协议（LP、FT、LP+FT）的表现。
• 设计三种改进的LP初始化方法：虚拟对抗训练（VAT）、基于不确定性的扰动（UDP）和稀疏汤（Soup），以促进学习复杂且鲁棒的特征。
• 将在LP+FT框架中应用这些改进的LP初始化，确保后续微调从更少偏差、更具鲁棒性的表示开始。
• 在三个真实世界数据集（CIFAR-10、CIFAR-10-C和DomainNet）上训练并评估所得协议，测量其在多种安全与泛化指标上的表现。
• 使用CKA（中心化核对齐）评估预训练模型与微调后模型之间的表示相似性，以确保特征空间稳定性。

实验结果

研究问题

• RQ1 为何LP+FT尽管减少了特征失真，但在校准误差与对抗性鲁棒性等安全指标上仍表现不佳？
• RQ2 标准微调协议（LP、FT、LP+FT）在多大程度上表现出简单性偏差？这种偏差如何影响其鲁棒性与安全性？
• RQ3 硬度促进型LP初始化（如VAT、UDP、Soup）能否降低LP阶段的简单性偏差，并带来更安全、更具泛化能力的微调模型？
• RQ4 在真实世界数据集中，所提出的改进LP+FT变体是否在OOD泛化与安全指标上均优于标准LP+FT？

主要发现

• 尽管LP+FT在OOD泛化方面表现有效，但在校准误差与数据集扰动鲁棒性等安全指标上，其表现反而低于LP与FT，表明仅控制特征失真仍不足以提升安全性。
• 在合成多米诺骨牌数据集中，FT对简单性偏差最为敏感，而LP+FT在特征相关性适中时展现出较好的平衡性。
• LP(VAT) + FT在CIFAR-10-C上实现了最佳的OOD泛化（89.00%准确率）与鲁棒性（93.75%扰动准确率），优于标准LP+FT。
• LP(Soup) + FT在异常检测AUROC上达到最高值（0.9265），并保持了良好的校准性，优于标准LP+FT在安全指标上的表现。
• 改进的LP+FT协议（尤其是LP(VAT)+FT与LP(Soup)+FT）在表示相似性（CKA）与鲁棒性方面均有显著提升，表明复杂特征得到了更好保留。
• 硬度促进型LP初始化降低了对简单特征的依赖，这在合成设置中通过更低的简单性偏差得到验证，并在真实世界的安全性与泛化性能上带来了可测量的提升。