[论文解读] Improving Multi-Task Generalization via Regularizing Spurious Correlation

Ziniu Hu, Zhe Zhao+5 more|arXiv (Cornell University)|May 19, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文提出多任务因果表征学习（MT-CRL），通过将共享表征解耦为因果模块并使用不变风险正则化来抑制虚假相关性，从而提升多任务学习的泛化能力。通过学习鲁棒的、任务特定的路由权重，优先利用在分布偏移下始终有用的特征，该方法在五个基准测试中实现了平均5.5%的性能提升。

ABSTRACT

Multi-Task Learning (MTL) is a powerful learning paradigm to improve generalization performance via knowledge sharing. However, existing studies find that MTL could sometimes hurt generalization, especially when two tasks are less correlated. One possible reason that hurts generalization is spurious correlation, i.e., some knowledge is spurious and not causally related to task labels, but the model could mistakenly utilize them and thus fail when such correlation changes. In MTL setup, there exist several unique challenges of spurious correlation. First, the risk of having non-causal knowledge is higher, as the shared MTL model needs to encode all knowledge from different tasks, and causal knowledge for one task could be potentially spurious to the other. Second, the confounder between task labels brings in a different type of spurious correlation to MTL. We theoretically prove that MTL is more prone to taking non-causal knowledge from other tasks than single-task learning, and thus generalize worse. To solve this problem, we propose Multi-Task Causal Representation Learning framework, aiming to represent multi-task knowledge via disentangled neural modules, and learn which module is causally related to each task via MTL-specific invariant regularization. Experiments show that it could enhance MTL model's performance by 5.5% on average over Multi-MNIST, MovieLens, Taskonomy, CityScape, and NYUv2, via alleviating spurious correlation problem.

研究动机与目标

• 解决多任务学习（MTL）在任务弱相关时出现的泛化失败问题，特别是由虚假相关性引起的问题。
• 识别出MTL由于标签-标签混淆因子和共享表征编码，容易从其他任务中学习非因果知识。
• 开发一种框架，将多任务表征中的因果知识与虚假知识解耦，以提升在分布偏移下的鲁棒性。
• 制定并应用针对多任务学习的不变性正则化，确保路由权重在不同环境中保持稳定，优先选择因果相关的模块。
• 证明多任务学习中的虚假相关性不仅源于特征-标签混淆因子，也源于任务-标签混淆，因此需要独特的缓解策略。

提出的方法

• 采用专家混合（MoE）架构并引入解耦神经模块，构建MTL模型，以分离因果与虚假知识。
• 对任务到模块的路由权重施加稀疏性正则化（L1），以鼓励选择相关模块。
• 引入平衡正则化，防止任一模块在路由过程中过度主导。
• 通过去相关损失强制表征解耦，以最小化非因果相关的模块之间的共享特征。
• 通过惩罚路由权重在不同数据分布下的梯度方差，实现不变性正则化，促进因果模块的一致使用。
• 端到端训练模型，整合所有正则化项，使用固定超参数集在不同数据集间进行公平比较与泛化。

实验结果

研究问题

• RQ1 为何多任务学习在训练损失较低时，有时泛化性能反而劣于单任务学习？
• RQ2 MTL中的标签-标签混淆因子如何引入虚假相关性并损害泛化能力？
• RQ3 解耦表征学习与不变性正则化能否缓解多任务模型中的虚假相关性？
• RQ4 对路由权重施加不变风险正则化在多任务学习中能在多大程度上提升对分布偏移的鲁棒性？
• RQ5 所提出的MT-CRL框架在任务相关性与数据分布各异的多样化多任务基准中是否有效？

主要发现

• MT-CRL在五个基准测试（Multi-MNIST、MovieLens、Taskonomy、CityScape和NYUv2）中，平均提升多任务学习性能5.5%。
• 该方法显著优于基线MTL模型，在Multi-MNIST上实现6.9%的绝对性能提升（准确率0.915 vs. 0.846）。
• 实证结果表明，所有正则化组件（稀疏性、平衡性、去相关性、不变性）在存在时均能提升性能，相较于其缺失情况。
• 敏感性分析表明，MT-CRL对超参数选择具有鲁棒性，性能仅在次优设置下轻微下降。
• 不变性正则化有效抑制了依赖虚假相关性的模块，表现为在分布偏移下路由权重保持稳定。
• 该框架成功缓解了非因果知识迁移的风险，尤其在低相关性多任务学习场景中，标准MTL方法会失效。