[論文レビュー] AdaMerging: Adaptive Model Merging for Multi-Task Learning

Enneng Yang, Zhenyi Wang+5 more|arXiv (Cornell University)|Oct 4, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

AdaMergingは、元の学習データを必要とせず、自己教師ありの方法でマルチタスク学習におけるタスクベクトルの最適なマージ係数を自動で学習するアダプティブで非教師ありのモデルマージ手法を提案する。無作為なテストデータに対するエントロピー最小化を代理目的関数として用いることで、最先端の手法よりも11%の性能向上を達成し、一般化性能と分布シフトに対するロバスト性に優れる。

ABSTRACT

Multi-task learning (MTL) aims to empower a model to tackle multiple tasks simultaneously. A recent development known as task arithmetic has revealed that several models, each fine-tuned for distinct tasks, can be directly merged into a single model to execute MTL without necessitating a retraining process using the initial training data. Nevertheless, this direct addition of models often leads to a significant deterioration in the overall performance of the merged model. This decline occurs due to potential conflicts and intricate correlations among the multiple tasks. Consequently, the challenge emerges of how to merge pre-trained models more effectively without using their original training data. This paper introduces an innovative technique called Adaptive Model Merging (AdaMerging). This approach aims to autonomously learn the coefficients for model merging, either in a task-wise or layer-wise manner, without relying on the original training data. Specifically, our AdaMerging method operates as an automatic, unsupervised task arithmetic scheme. It leverages entropy minimization on unlabeled test samples from the multi-task setup as a surrogate objective function to iteratively refine the merging coefficients of the multiple models. Our experimental findings across eight tasks demonstrate the efficacy of the AdaMerging scheme we put forth. Compared to the current state-of-the-art task arithmetic merging scheme, AdaMerging showcases a remarkable 11\% improvement in performance. Notably, AdaMerging also exhibits superior generalization capabilities when applied to unseen downstream tasks. Furthermore, it displays a significantly enhanced robustness to data distribution shifts that may occur during the testing phase.

研究の動機と目的

• タスクベクトルベースのモデルマージにおける、最適でないマージ係数による性能低下を是正すること。
• 複数のファインチューニング済みモデルをマージする際に、元の学習データに依存しないこと。
• タスクごとまたはレイヤーごとのマージ係数を自動で学習する、非教師ありの手法を開発すること。
• マルチタスク学習における一般化性能とデータ分布シフトに対するロバスト性を向上させること。
• 既存のタスクアリズメティックベースのマージ手法を上回る精度と安定性を達成すること。

提案手法

• AdaMergingは、無作為なテストサンプルにおけるエントロピー最小化を代理目的関数として用い、マージ係数を最適化する。
• マージモデル内の各タスクベクトルの重みを繰り返し精緻化することで、タスクごとの係数を学習する。
• レイヤーごとのマージに拡張し、各タスクベクトルの各レイヤーに対して異なる係数を学習する。
• 最適化中に元の学習データにアクセスせず、無作為なテストデータのみに依存して動作する。
• 複数のタスクにわたる予測エントロピーを最小化する反復的最適化プロセスを採用する。
• ViTおよびBERTベースのモデルの両方に対応可能であり、アーキテクチャにかかわらず柔軟性を示す。

実験結果

リサーチクエスチョン

• RQ1 元の学習データにアクセスできない状況でも、アダプティブで非教師ありの手法が最適なマージ係数を学習できるか？
• RQ2 無作為なテストデータに対するエントロピー最小化は、マルチタスク学習におけるモデルマージ性能をどのように向上させるか？
• RQ3 レイヤーごとの係数を学習することで、固定または共有係数と比較して性能とロバスト性が向上するか？
• RQ4 AdaMergingは未観測のダウンストリームタスクに一般化可能であり、データ分布シフト下でも性能を維持できるか？
• RQ5 AdaMergingは、Task Arithmetic や Ties-Merging といった最先端のマージ手法と比較して、精度とロバスト性で優れているか？

主な発見

• AdaMergingは8つのベンチマークタスクにおいて、現在のSOTA手法であるTask Arithmeticよりも11%の性能向上を達成した。
• 全タスク平均で、Task Arithmeticと比較して精度が8.2%向上した。
• AdaMergingは優れたロバスト性を示し、モーションブラーでは11.2%、コントラストでは10.1%、JPEG圧縮ノイズでは9.8%の性能向上を示した。
• 学習されたマージ係数はタスク固有であり、レイヤー依存的であり、深層部では浅層部よりもタスク固有の重みに依存する傾向が強い。
• 未観測のダウンストリームタスクへの一般化性能が高く、分布外ロバスト性が向上していることが示された。
• レイヤーごとのAdaMergingでは、浅層部では小さな係数が使われており、事前学習済み重みに大きく依存しているのに対し、深層部ではタスク固有の特徴抽出を強化するためにより大きな係数が使われている。