[论文解读] Can Subnetwork Structure be the Key to Out-of-Distribution Generalization?

Dinghuai Zhang, Kartik Ahuja+3 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 86被引用 16

一句话总结

本文提出子网络结构对分布外（OOD）泛化至关重要，引入功能彩票彩票假说：在完整模型中存在一个子网络，其在孤立训练时的OOD性能优于完整网络。作者提出模块化风险最小化（MRM）方法，一种结构学习方法，用于识别此类鲁棒子网络，在与现有OOD正则化技术兼容的同时提升OOD准确率。

ABSTRACT

Can models with particular structure avoid being biased towards spurious correlation in out-of-distribution (OOD) generalization? Peters et al. (2016) provides a positive answer for linear cases. In this paper, we use a functional modular probing method to analyze deep model structures under OOD setting. We demonstrate that even in biased models (which focus on spurious correlation) there still exist unbiased functional subnetworks. Furthermore, we articulate and demonstrate the functional lottery ticket hypothesis: full network contains a subnetwork that can achieve better OOD performance. We then propose Modular Risk Minimization to solve the subnetwork selection problem. Our algorithm learns the subnetwork structure from a given dataset, and can be combined with any other OOD regularization methods. Experiments on various OOD generalization tasks corroborate the effectiveness of our method.

研究动机与目标

• 探究模型结构，特别是子网络，是否能够缓解虚假相关性并改善OOD泛化能力。
• 确定在存在偏差的完整模型中，其子网络是否仍能捕捉到不变的、非虚假的特征。
• 开发一种实用的子网络选择方法，在训练过程中无需依赖OOD数据即可提升OOD性能。
• 证明通过学习到的子网络所体现的结构归纳偏差，可在OOD设置下超越完整网络的容量。
• 将所提方法与现有OOD正则化技术结合，实现一致的性能提升。

提出的方法

• 提出功能彩票彩票假说：在完整模型中存在一个子网络，当其孤立训练时，其OOD性能优于完整网络。
• 引入模块化风险最小化（MRM），一种通过在模块化组件上优化风险目标来学习子网络结构的方法。
• MRM使用可微稀疏掩码识别并剪除非不变的、虚假的特征，从而有效将依赖捷径相关性的模型部分置零。
• 该方法可与任何OOD正则化目标（如IRM）兼容，使其能够与现有方法结合使用。
• 该算法通过结构化稀疏正则化执行端到端训练，以促进学习到不变的子网络。
• 通过分布内和分布外准确率对子网络进行评估，并与完整模型及理想子网络进行性能对比。

实验结果

研究问题

• RQ1 在使用ERM训练、仍会利用虚假相关性的模型中，其子网络是否仍能捕捉到不变特征？
• RQ2 即使完整模型存在偏差，是否仍存在一个子网络能在分布偏移下泛化得比完整模型更好？
• RQ3 像MRM这样的结构学习方法是否能在训练过程中无需访问OOD数据的情况下识别出此类鲁棒子网络？
• RQ4 与完整模型的归纳偏差相比，子网络的结构归纳偏差在OOD泛化方面表现如何？
• RQ5 当MRM与其他OOD正则化方法（如IRM）结合时，其性能提升的幅度有多大？

主要发现

• 即使使用ERM训练、会利用虚假相关性的模型，其内部仍存在功能性的子网络，这些子网络具有不变性且偏差更小。
• 实证验证了功能彩票彩票假说：通过MRM选择的子网络在FullColoredMNIST数据集上的OOD准确率高于完整网络。
• MRM在多个OOD基准任务上显著提升了OOD泛化性能，优于完整模型和标准基线。
• 与IRM结合使用时，MRM进一步提升了性能，表明其与现有OOD正则化方法具有兼容性和协同效应。
• MRM的有效性在不同架构和数据集上均表现稳健，性能提升归因于结构归纳偏差而非容量增加。
• 子网络结构中的适当稀疏度至关重要——过度或过少的剪枝都会降低OOD性能，表明需要结构化学习。