[论文解读] AdaMerging: Adaptive Model Merging for Multi-Task Learning

Enneng Yang, Zhenyi Wang+5 more|arXiv (Cornell University)|Oct 4, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

AdaMerging 提出了一种自适应的、无监督的模型融合方法，能够在无需原始训练数据的情况下，自动学习多任务学习中任务向量的最优融合系数。通过使用无标签测试数据上的熵最小化作为代理目标，其性能相比最先进方法提升11%，并展现出更优的泛化能力和对数据分布偏移的鲁棒性。

ABSTRACT

Multi-task learning (MTL) aims to empower a model to tackle multiple tasks simultaneously. A recent development known as task arithmetic has revealed that several models, each fine-tuned for distinct tasks, can be directly merged into a single model to execute MTL without necessitating a retraining process using the initial training data. Nevertheless, this direct addition of models often leads to a significant deterioration in the overall performance of the merged model. This decline occurs due to potential conflicts and intricate correlations among the multiple tasks. Consequently, the challenge emerges of how to merge pre-trained models more effectively without using their original training data. This paper introduces an innovative technique called Adaptive Model Merging (AdaMerging). This approach aims to autonomously learn the coefficients for model merging, either in a task-wise or layer-wise manner, without relying on the original training data. Specifically, our AdaMerging method operates as an automatic, unsupervised task arithmetic scheme. It leverages entropy minimization on unlabeled test samples from the multi-task setup as a surrogate objective function to iteratively refine the merging coefficients of the multiple models. Our experimental findings across eight tasks demonstrate the efficacy of the AdaMerging scheme we put forth. Compared to the current state-of-the-art task arithmetic merging scheme, AdaMerging showcases a remarkable 11\% improvement in performance. Notably, AdaMerging also exhibits superior generalization capabilities when applied to unseen downstream tasks. Furthermore, it displays a significantly enhanced robustness to data distribution shifts that may occur during the testing phase.

研究动机与目标

• 解决由于融合系数不理想导致的任务向量融合方法性能下降问题。
• 消除对原始训练数据的依赖，以实现对多个微调模型的融合。
• 开发一种自动化的、无监督的方法，以学习任务特定或层特定的融合系数。
• 提升多任务学习中的泛化能力以及对数据分布偏移的鲁棒性。
• 在准确率和稳定性方面超越现有的基于任务算术的融合方法。

提出的方法

• AdaMerging 使用无标签测试样本上的熵最小化作为代理目标，以优化融合系数。
• 通过迭代优化每个任务向量在融合模型中的权重，学习任务特定的系数。
• 扩展至层特定融合，为每个任务向量的每一层学习独立的系数。
• 该方法在优化过程中无需访问原始训练数据，仅依赖无标签测试数据。
• 采用迭代优化过程，最小化多个任务上的预测熵。
• 该方法适用于 ViT 和 BERT 基础模型，展现出在不同架构间的灵活性。

实验结果

研究问题

• RQ1 一种自适应的、无监督的方法是否能在不访问原始训练数据的情况下，学习到任务向量的最优融合系数？
• RQ2 在无标签测试数据上使用熵最小化如何提升多任务学习中的模型融合性能？
• RQ3 与固定或共享系数相比，学习层特定的系数是否能带来更好的性能和鲁棒性？
• RQ4 AdaMerging 是否能泛化到未见过的下游任务，并在数据分布偏移下保持性能？
• RQ5 与最先进方法如 Task Arithmetic 和 Ties-Merging 相比，AdaMerging 在准确率和鲁棒性方面表现如何？

主要发现

• 在八个基准任务上，AdaMerging 相较于当前最先进方法 Task Arithmetic 实现了11%的性能提升。
• 在所有任务上，AdaMerging 平均比 Task Arithmetic 提高8.2%的准确率。
• AdaMerging 展现出更优的鲁棒性，在运动模糊、对比度降低和 JPEG 压缩等扰动下，性能分别提升11.2%、10.1%和9.8%。
• 所学习的融合系数具有任务特异性和层依赖性，深层网络更依赖于任务特定的权重，而浅层则更依赖于预训练权重。
• AdaMerging 对未见下游任务的泛化能力更强，展现出增强的分布外鲁棒性。
• 层特定的 AdaMerging 表明，浅层使用较小的系数，表明对预训练权重的更大依赖；而深层使用更大的系数，以支持任务特定的特征学习。