[論文レビュー] Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models

Jinliang Lu, Ziliang Pang+4 more|arXiv (Cornell University)|Jul 8, 2024

Wikis in Education and Collaboration被引用数 5

ひとこと要約

この調査は、LLMの協働を三つのアプローチ—Merging、Ensemble、Cooperation—に分類し、複数のLLMを活用する方法、適用の変更、今後の方向性をレビューします。

ABSTRACT

The remarkable success of Large Language Models (LLMs) has ushered natural language processing (NLP) research into a new era. Despite their diverse capabilities, LLMs trained on different corpora exhibit varying strengths and weaknesses, leading to challenges in maximizing their overall efficiency and versatility. To address these challenges, recent studies have explored collaborative strategies for LLMs. This paper provides a comprehensive overview of this emerging research area, highlighting the motivation behind such collaborations. Specifically, we categorize collaborative strategies into three primary approaches: Merging, Ensemble, and Cooperation. Merging involves integrating multiple LLMs in the parameter space. Ensemble combines the outputs of various LLMs. Cooperation} leverages different LLMs to allow full play to their diverse capabilities for specific tasks. We provide in-depth introductions to these methods from different perspectives and discuss their potential applications. Additionally, we outline future research directions, hoping this work will catalyze further studies on LLM collaborations and paving the way for advanced NLP applications.

研究の動機と目的

• 多様な強みと弱みのために、複数のLLMを協働させることが単一モデルを上回る理由を検討する。
• 協力戦略をMerging、Ensemble、Cooperationに定義し、整理する。
• LLM時代における各カテゴリの技術・アーキテクチャ・適用を要約する。
• LLM協働の課題、制約、将来の研究方向性を明らかにする。

提案手法

• LLM協働手法を三つのカテゴリーに分類する：merging（パラメータ空間の融合）、ensemble（出力の融合）、cooperation（タスク特有の協調）。
• 各カテゴリー内のサブアプローチを詳述する（例: M-ROS、M-MTC、タスクベクトル、剪定、Mergingのインクリメンタルトレーニング）。
• Ensembleのパラダイム（推論の前・中・後）を説明し、異種LLMの語彙・整合性の課題に対処する。
• 効率性・知識伝達・整合性のために多様な能力を活用するcooperation戦略を議論する。
• ツールキットのサポート（MergeKit）とLLM協働における実務的な考慮事項について議論する。

Figure 1: Recently, numerous large language models have been released, each with its own unique strengths. This diversity has fueled research into collaboration between these models.

実験結果

リサーチクエスチョン

• RQ1 LLMの主要な協働戦略は何で、それらは要件と成果の面でどのように異なるか？
• RQ2 Merging、Ensemble、Cooperationの各手法はどのように多様なLLMの強みを活用して性能と汎用性を向上させるか？
• RQ3 各協力カテゴリ（Merging、Ensemble、Cooperation）における主要技術・課題・将来の方向性は何か？
• RQ4 実践的なツールとワークフローは、スケーラブルなLLM協働をどう支援できるか？

主な発見

• Merging戦略は、パラメータを組み合わせてより強力な単一モデルを作成することを目的とし、M-ROSとM-MTCを中核目標とする。
• Ensembleアプローチは、推論の異なる段階で出力を組み合わせることに焦点を当て、語彙が互換性のあるモデル間で信頼性と品質を向上させる。
• Cooperation手法は、単純なマージやアンサンブルを超えた、タスク特有の協調と多様な能力の効率的活用を強調する。
• 同一アーキテクチャの merging が最も直接的であると特定され、ensembleとcooperation は互換性要件を緩和し、より広範な協働を可能にする。
• 実践的な展開には、タスクベクトル、適応的重み付け、剪定技術（DARE、DPPA）、およびMergeKitなどのツールキットが含まれ、Mergingと関連ワークフローを支援する。
• 本調査は、整合コスト、幻覚、プライバシーの懸念、スケーラブルな評価ベンチマークの必要性など、さまざまな将来の方向性と課題を概説する。

Figure 2: The illustration of different collaboration strategies, with each animal in the figures representing a different LLM.