[論文レビュー] Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities

Eun Jin Yang, Shen Li+5 more|arXiv (Cornell University)|Aug 14, 2024

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、基盤モデルおよび10超のMLサブ分野にわたるモデル融合技術、理論、応用の総合的な調査を提供し、分類法、課題、および将来の方向性を概説する。

ABSTRACT

Model merging is an efficient empowerment technique in the machine learning community that does not require the collection of raw training data and does not require expensive computation. As model merging becomes increasingly prevalent across various fields, it is crucial to understand the available model merging techniques comprehensively. However, there is a significant gap in the literature regarding a systematic and thorough review of these techniques. This survey provides a comprehensive overview of model merging methods and theories, their applications in various domains and settings, and future research directions. Specifically, we first propose a new taxonomic approach that exhaustively discusses existing model merging methods. Secondly, we discuss the application of model merging techniques in large language models, multimodal large language models, and more than ten machine learning subfields, including continual learning, multi-task learning, few-shot learning, etc. Finally, we highlight the remaining challenges of model merging and discuss future research directions. A comprehensive list of papers about model merging is available at https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications.

研究の動機と目的

• 事前融合と融合中の手法を区分する新しい分類法を導入する。
• 基盤モデルおよび複数のMLサブ分野へのモデル融合の応用を調査する。
• モデル融合に関連する理論分析と実証的成果を要約する。
• 今後の研究のための主要な課題と未解決の問題を特定する。
• さらなる研究のための関連論文とリソースの厳選リストを提供する。

提案手法

• 事前融合技術と融合中技術を分ける2段階の分類法を提案する。
• 線形化ファインチューニング、アーキテクチャ変換、重み整合など、事前融合法をレビューする。
• 基本的、加重ベース、部分空間ベース、ルーティングベース、およびポストキャリブレーション法を含む融合中の手法を詳述する。
• NTK、重みの分離、LMCの概念を含むモデル融合に関連する理論分析を論じる。
• 基盤モデルおよび10を超えるMLサブ分野への応用を体系的に要約する。
• 残る課題を強調し、将来の研究の方向性を概説する。

実験結果

リサーチクエスチョン

• RQ1 モデル融合技法の全体像を最も適切に捉える分類フレームワークは何か？
• RQ2 事前融合と融合中の手法は、モデル間の干渉と適合性の問題にどう対処するか？
• RQ3 LLM、MLLM、および画像生成モデルにおけるモデル融合の主な応用と利点は何か？
• RQ4 モデル融合の有効性を説明する理論的基盤は何であり、どの条件下で成立するのか？
• RQ5 モデル融合の今後の研究を導く主要な課題と未解決の問題は何か？

主な発見

• 2段階の分類法は、モデル融合のライフサイクルを事前融合と融合中カテゴリに明確化する。
• 事前融合法は、線形化ファインチューニング、アーキテクチャ変換、重み整合を通じて干渉を低減し、適合性を向上させる。
• 融合中の手法は、基本、加重、サブスペース、ルーティングベース、ポストキャリブレーション戦略でタスク衝突に対処する。
• 理論的分析は、重みの分離、線形モード連結、NTK特性を融合の有効性に結びつける。
• モデル融合は、基盤モデルの能力を高め、連続学習、マルチタスク学習、および知識の忘却防止の課題に対処する可能性を示す。
• 本調査は、記憶、信頼性、理論的ギャップを将来の主要な課題と機会として特定している。