[논문 리뷰] AdaMerging: Adaptive Model Merging for Multi-Task Learning

Enneng Yang, Zhenyi Wang외 5명|arXiv (Cornell University)|2023. 10. 04.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

AdaMerging는 원본 학습 데이터가 필요 없이 다중 작업 학습에서 작업 벡터의 최적 병합 계수를 자동으로 학습할 수 있는 적응형, 비지도 모델 병합 방법을 제안한다. 비지도 테스트 데이터에 대한 엔트로피 최소화를 서브로게이트 목적함수로 사용함으로써, 최신 기술 대비 성능을 11% 향상시켰으며 일반화 능력과 분포 이탈에 대한 강건성도 뛰어나다.

ABSTRACT

Multi-task learning (MTL) aims to empower a model to tackle multiple tasks simultaneously. A recent development known as task arithmetic has revealed that several models, each fine-tuned for distinct tasks, can be directly merged into a single model to execute MTL without necessitating a retraining process using the initial training data. Nevertheless, this direct addition of models often leads to a significant deterioration in the overall performance of the merged model. This decline occurs due to potential conflicts and intricate correlations among the multiple tasks. Consequently, the challenge emerges of how to merge pre-trained models more effectively without using their original training data. This paper introduces an innovative technique called Adaptive Model Merging (AdaMerging). This approach aims to autonomously learn the coefficients for model merging, either in a task-wise or layer-wise manner, without relying on the original training data. Specifically, our AdaMerging method operates as an automatic, unsupervised task arithmetic scheme. It leverages entropy minimization on unlabeled test samples from the multi-task setup as a surrogate objective function to iteratively refine the merging coefficients of the multiple models. Our experimental findings across eight tasks demonstrate the efficacy of the AdaMerging scheme we put forth. Compared to the current state-of-the-art task arithmetic merging scheme, AdaMerging showcases a remarkable 11\% improvement in performance. Notably, AdaMerging also exhibits superior generalization capabilities when applied to unseen downstream tasks. Furthermore, it displays a significantly enhanced robustness to data distribution shifts that may occur during the testing phase.

연구 동기 및 목표

• 작업 벡터 기반 모델 병합에서 최적의 병합 계수 부족으로 인한 성능 저하 문제를 해결하기 위해.
• 다양한 미세조정된 모델을 병합하기 위해 원본 학습 데이터에 의존하지 않도록 하기 위해.
• 작업별 또는 레이어별 병합 계수를 자동으로 학습하는 자동화된 비지도 방법을 개발하기 위해.
• 다중 작업 학습에서 일반화 능력 향상 및 데이터 분포 이탈에 대한 강건성 향상을 위해.
• 기존의 작업 산술 기반 병합 방법 대비 정확도와 안정성에서 뛰어난 성능을 내기 위해.

제안 방법

• AdaMerging는 병합 계수를 최적화하기 위해 비지도 테스트 샘플에 대한 엔트로피 최소화를 서브로게이트 목적함수로 사용한다.
• 병합된 모델의 각 작업 벡터의 가중치를 반복적으로 개선함으로써 작업별 계수를 학습한다.
• 각 작업 벡터의 각 레이어에 대해 별도의 계수를 학습하는 레이어별 병합으로 확장된다.
• 원본 학습 데이터에 접근할 필요 없이, 최적화 중에 오직 비지도 테스트 데이터에 의존한다.
• 다양한 작업을 통해 예측 엔트로피를 최소화하는 반복 최적화 과정을 수행한다.
• 이 방법은 ViT 및 BERT 기반 모델 모두에 적용 가능하여 아키텍처 간의 유연성을 보여준다.

실험 결과

연구 질문

• RQ1 원본 학습 데이터에 접근할 수 없는 비지도 적응형 방법이 작업 벡터의 최적 병합 계수를 학습할 수 있는가?
• RQ2 비지도 테스트 데이터에 대한 엔트로피 최소화가 다중 작업 학습에서 모델 병합 성능을 어떻게 향상시키는가?
• RQ3 레이어별 계수를 학습하는 것이 고정 또는 공유 계수 대비 더 나은 성능과 강건성을 제공하는가?
• RQ4 AdaMerging는 새로운 다운스트림 작업에 일반화되어 분포 이탈 상황에서도 성능을 유지할 수 있는가?
• RQ5 Task Arithmetic 및 Ties-Merging와 같은 최신 기술 병합 방법 대비 AdaMerging는 정확도와 강건성에서 어떻게 비교되는가?

주요 결과

• AdaMerging는 여덟 가지 벤치마크 작업에서 현재 최고 성능 기술인 Task Arithmetic 대비 11% 향상된 성능을 달성한다.
• 모든 작업 평균으로 AdaMerging는 Task Arithmetic 대비 평균 8.2% 높은 정확도를 기록한다.
• AdaMerging는 우수한 강건성을 보이며, 모션 블러에서 11.2%, 대trast에서 10.1%, JPEG 압축 손상에서 9.8% 성능 향상을 보였다.
• 학습된 병합 계수는 작업별로 특화되어 있으며 레이어에 따라 달라지며, 깊은 레이어일수록 얕은 레이어보다 작업별 가중치에 더 의존한다.
• AdaMerging는 더 나은 일반화 능력을 보이며, 새로운 다운스트림 작업에 대해 더 뛰어난 분포 외부 강건성을 보였다.
• 레이어별 AdaMerging는 얕은 레이어가 더 작은 계수를 사용함으로써 사전학습된 가중치에 더 의존하는 반면, 깊은 레이어는 더 큰 계수를 사용하여 작업별 특징 학습에 더 중점을 둔다.