[论文解读] Environment Diversification with Multi-head Neural Network for Invariant Learning

Bo‐Wei Huang, Keng-Te Liao+2 more|arXiv (Cornell University)|Aug 17, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出EDNIL，一种新颖的不变性学习框架，采用多头神经网络自动推断并多样化环境，无需标注环境数据或对预训练模型施加强假设。通过联合优化环境推断与不变表示学习，EDNIL在分布偏移下实现了最先进水平的鲁棒性，尤其在偏差鲁棒性基准中对最坏情况（错位）样本的性能有显著提升。

ABSTRACT

Neural networks are often trained with empirical risk minimization; however, it has been shown that a shift between training and testing distributions can cause unpredictable performance degradation. On this issue, a research direction, invariant learning, has been proposed to extract invariant features insensitive to the distributional changes. This work proposes EDNIL, an invariant learning framework containing a multi-head neural network to absorb data biases. We show that this framework does not require prior knowledge about environments or strong assumptions about the pre-trained model. We also reveal that the proposed algorithm has theoretical connections to recent studies discussing properties of variant and invariant features. Finally, we demonstrate that models trained with EDNIL are empirically more robust against distributional shifts.

研究动机与目标

• 为解决机器学习中的分布外泛化挑战，即由于虚假相关性和偏差导致训练与测试数据分布发生偏移。
• 消除对人工标注环境数据的依赖，这些数据在现实应用中往往不可用或获取成本高昂。
• 开发一种联合优化框架，同时推断环境并学习不变特征，从而在分布偏移下提升模型鲁棒性。
• 提供一种理论基础坚实、高效且对初始化不敏感的不变性学习方法，适用于多种预训练模型。
• 通过学习不变预测器（无需访问敏感属性）来提升现实世界机器学习应用（如医疗、自动驾驶和社交媒体）中的公平性与可靠性。

提出的方法

• EDNIL采用多头神经网络架构，每个头作为对一个独立推断环境的分类器，实现在无监督条件下自动发现环境。
• 该框架通过多任务学习目标，联合优化环境推断头与主预测头，促进所推断环境之间的多样性。
• 该方法在功能上类似于多分类器，支持高效训练，并与现成的预训练模型（如ResNet和DistilBERT）兼容。
• 它引入了一种新型损失函数，通过惩罚模型对环境特异性（虚假）特征的依赖，来鼓励学习不变表示。
• 该架构隐式地在所推断的环境中强制实现多样性，与关于不变学习中多样化环境优势的理论发现相一致。
• 该方法避免了对数据或模型初始化的强假设，使其对初始化选择具有鲁棒性，并可扩展至大规模数据集。

(a)

实验结果

研究问题

• RQ1 多头神经网络结构能否在无需标注环境数据的情况下，有效实现无监督的环境推断与多样化？
• RQ2 与现有方法相比，联合优化环境推断与不变学习如何提升对分布偏移的鲁棒性？
• RQ3 EDNIL在偏差鲁棒性基准中最坏情况（错位）样本上的表现，相比最先进方法能提升多少？
• RQ4 EDNIL的学习目标与近期关于不变学习中理想环境研究之间存在何种理论关联？
• RQ5 EDNIL能否与不同类型数据和不同偏差强度下的多样化预训练模型有效结合？

主要发现

• 在SNLI数据集上，EDNIL在最坏情况（错位）下的准确率达到54.5%，优于ERM（52.6%）、EIIL（51.7%）和IRM（56.9%），展现出对偏差偏移更强的鲁棒性。
• EDNIL在多个数据集和预训练模型上均持续提升了错位子集的性能，表明其有效学习了不变特征。
• 该方法在Adult-Confounded数据集上实现了最先进性能，表明其在无敏感属性访问条件下具备实现更公平决策的潜力。
• EDNIL在不同数据类型和偏差强度下表现出强大泛化能力，持续提升性能，且无需精细初始化或环境标注。
• 该框架与近期关于理想环境研究的理论联系表明，其多头设计自然促进了环境的多样性，这对不变学习至关重要。
• EDNIL的分类器结构支持高效训练，并能与现有预训练模型无缝集成，显著增强了实际可应用性。

(b)