[论文解读] Learning Representations that Support Robust Transfer of Predictors

Yilun Xu, Tommi Jaakkola|arXiv (Cornell University)|Oct 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 4

一句话总结

本文提出了一种名为迁移风险最小化（TRM）的新颖鲁棒估计准则，通过优化表示学习以提升预测器在未见环境中的可迁移性。通过最小化在其他环境中应用最优单环境预测器的风险，TRM 分解为直接迁移项和加权梯度匹配项，其在 PACS 和 Office-Home 等真实世界数据集上的分布外泛化性能优于 IRM 和基线方法。

ABSTRACT

Ensuring generalization to unseen environments remains a challenge. Domain shift can lead to substantially degraded performance unless shifts are well-exercised within the available training environments. We introduce a simple robust estimation criterion -- transfer risk -- that is specifically geared towards optimizing transfer to new environments. Effectively, the criterion amounts to finding a representation that minimizes the risk of applying any optimal predictor trained on one environment to another. The transfer risk essentially decomposes into two terms, a direct transfer term and a weighted gradient-matching term arising from the optimality of per-environment predictors. Although inspired by IRM, we show that transfer risk serves as a better out-of-distribution generalization criterion, both theoretically and empirically. We further demonstrate the impact of optimizing such transfer risk on two controlled settings, each representing a different pattern of environment shift, as well as on two real-world datasets. Experimentally, the approach outperforms baselines across various out-of-distribution generalization tasks. Code is available at \url{https://github.com/Newbeeer/TRM}.

研究动机与目标

• 为解决在领域偏移下分布外泛化的问题，标准 ERM 因存在虚假的、与环境相关的特征而失效。
• 开发一种学习目标，直接优化预测器向未见环境的鲁棒迁移。
• 通过提出一种更支持非线性设置泛化的准则，改进现有的基于不变性的方法（如 IRM）。
• 在受控偏移模式和真实世界基准上评估该方法，证明其对虚假特征具有更强的鲁棒性。

提出的方法

• 提出迁移风险最小化（TRM），一种衡量在一个环境中训练的最优预测器应用于另一个对抗性选择环境的平均风险的准则。
• 将迁移风险分解为两部分：直接迁移项和加权梯度匹配项，以促进不同环境中预测器的一致性。
• 设计一种交替优化算法，联合学习特征表示和各环境下的预测器，以满足 TRM 目标。
• 采用两阶段训练流程：首先为每个环境优化预测器，然后更新表示以最小化迁移风险。
• 将该方法应用于受控数据集（10C-CMNIST、SceneCOCO）和真实世界基准（PACS、Office-Home），使用 ResNet18 和 ResNet50 等标准主干网络。
• 通过组合组别，将 TRM 适配于组分布鲁棒性设置，即使存在虚假相关性，也能保持不变特征学习。

实验结果

研究问题

• RQ1 能否设计一种表示学习目标，直接优化预测器在未见环境中的鲁棒迁移？
• RQ2 TRM 在分布外泛化性能方面与 IRM 及其他基于不变性的方法相比如何？
• RQ3 TRM 是否能有效缓解训练数据中虚假的、与环境相关的特征的负面影响？
• RQ4 TRM 在受控偏移设置和真实世界领域泛化基准中是否均具有良好的泛化能力？

主要发现

• 在使用 ResNet50 的 PACS 数据集上，TRM 在平均准确率上达到 82.9%，最差组准确率为 70.9%，优于 ERM、IRM 和 GroupDRO。
• 在 Office-Home 数据集上，TRM 实现了 65.5% 的平均准确率，优于 ERM（64.1%）、IRM（64.3%）和 REx（64.8%），且在最差组上表现强劲。
• 在 CelebA 组分布鲁棒性实验中，TRM 的最差组准确率为 90.3%，超过 GroupDRO（90.0%）和 Reweight（89.3%），同时保持了较高的平均准确率。
• 在 10C-CMNIST 和 SceneCOCO 的受控设置中，当存在非因果特征时，TRM 展现出更优的鲁棒性，其在分布外泛化方面优于基线方法。
• TRM 每轮训练时间为 8.69 秒，仅比 ERM（5.81 秒）略高，表明尽管增加了梯度匹配计算，其优化效率仍较高。
• 消融研究证实，加权梯度匹配项对鲁棒性至关重要，尤其在非线性特征变换下表现更显著。