[論文レビュー] Configurable Foundation Models: Building LLMs from a Modular Perspective

Chaojun Xiao, Zhengyan Zhang+21 more|arXiv (Cornell University)|Sep 4, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

本稿では、事前学習中に出現するか、事後調整によってカスタマイズされた『ブリック』と呼ばれる機能的ニューロンパーティションを用いて、大規模言語モデル（LLMs）を構築するモジュラーなフレームワークとして、設定可能基盤モデル（CFMs）を導入する。ルーティング、マージ、更新、拡張といった動的操作を可能にすることで、CFMsは計算効率性、スケーラビリティ、適応性を実現し、Llama-3-8BおよびMistral-7BモデルのFFN層における機能的特化の実証的証拠を示している。

ABSTRACT

Advancements in LLMs have recently unveiled challenges tied to computational efficiency and continual scalability due to their requirements of huge parameters, making the applications and evolution of these models on devices with limited computation resources and scenarios requiring various abilities increasingly cumbersome. Inspired by modularity within the human brain, there is a growing tendency to decompose LLMs into numerous functional modules, allowing for inference with part of modules and dynamic assembly of modules to tackle complex tasks, such as mixture-of-experts. To highlight the inherent efficiency and composability of the modular approach, we coin the term brick to represent each functional module, designating the modularized structure as configurable foundation models. In this paper, we offer a comprehensive overview and investigation of the construction, utilization, and limitation of configurable foundation models. We first formalize modules into emergent bricks - functional neuron partitions that emerge during the pre-training phase, and customized bricks - bricks constructed via additional post-training to improve the capabilities and knowledge of LLMs. Based on diverse functional bricks, we further present four brick-oriented operations: retrieval and routing, merging, updating, and growing. These operations allow for dynamic configuration of LLMs based on instructions to handle complex tasks. To verify our perspective, we conduct an empirical analysis on widely-used LLMs. We find that the FFN layers follow modular patterns with functional specialization of neurons and functional neuron partitions. Finally, we highlight several open issues and directions for future research. Overall, this paper aims to offer a fresh modular perspective on existing LLM research and inspire the future creation of more efficient and scalable foundational models.

研究の動機と目的

• リソース制限があり、複数のドメインが関与する環境におけるモノリシック大規模言語モデル（LLMs）の計算非効率性とスケーラビリティの課題に対処すること。
• エッジデバイスへの展開や、進化し多様な応用シナリオに適応する際の、静的で全パラメータを有するLLMsの限界を克服すること。
• 機能的ニューロンパーティション（ブリック）と設定可能な操作に基づくモジュラーなアーキテクチャを通じて、効率的で動的かつ組み立て可能なLLMsを実現すること。
• 持続可能なモデル進化のため、再利用可能でトレーサブルかつアップデート可能な機能的コンponentsにLLMsを分解する可能性と利点を調査すること。
• 基盤モデルに対する体系的なモジュラーな視点を通じて、将来の研究の基盤を築くこと。これにより、スケーラブルで効率的かつ相互運用可能なAIシステムの実現を目指す。

提案手法

• 『ブリック』を機能的モジュールとして導入：事前学習中にパラメータの差異化から出現する『エメrgェントブリック』と、事後調整により特定の能力を強化するために作成される『カスタマイズブリック』を定義する。
• 4つのコア操作を定義する：(1) 指示に基づいて関連するブリックをルーティングおよび取得する、(2) パラメータの平均化やステッチによるマージで複合タスク用にブリックを統合する、(3) ファインチューニングやインジェクションによるブリックの更新、(4) 事前学習または事後学習中にブリックを拡張してモデル容量を拡大する。
• ブリックの粒度を5段階で形式化する：単一ニューロン、ニューロングループ、レイヤー、全モデル、ハイブリッド。これにより、タスクのニーズに応じた柔軟な設定が可能になる。
• Llama-3-8B-InstructおよびMistral-7B-Instruct-v0.3を対象に実証的分析を実施し、スパースな活性化、機能の局在化、およびフィードフォワードネットワーク（FFN）レイヤーにおける特化を測定する。
• 内在次元分析を用いてLLMsの表現能力を評価し、機能的ニューロンパーティションの存在を検証する。
• モデルレベルのブリックを用いたマルチモデル連携のフレームワークを提案する。統一された中間表現や中間ブリッジモデルの可能性を介して、効率的なモデル間通信を実現する。

Figure 1: The illustration of a configurable foundation model consisting of emergent and customized bricks. For a given instruction, we select and combine tiny bricks to build an efficient instruction-specific model with minimal performance loss.

実験結果

リサーチクエスチョン

• RQ1 事前学習済みLLMsのニューロンレベルのパラメータにおいて、特にFFNレイヤーに機能的特化が観察されるか？
• RQ2 エメrgェントブリック（機能的に特化したニューロンパーティション）は、事前学習中にどのように出現し、その関係性が後続タスクの能力にどのように影響するか？
• RQ3 災害的忘却を引き起こさずに、カスタマイズブリックを効果的にインジェクションおよび更新できる範囲はどの程度か？
• RQ4 複雑で多様な指示を処理するための、動的かつモジュラーなLLMsを構成する上で、最も効果的で効率的な操作（例：ルーティング、マージ、成長）は何か？
• RQ5 モデルレベルのブリックをコンponentsとして用いることで、スケーラブルで相互運用可能かつ通信効率の良いマルチモデルシステムをどのように設計できるか？

主な発見

• 実証的分析により、Llama-3-8B-InstructおよびMistral-7B-Instruct-v0.3のFFNレイヤーに顕著な機能的特化が確認され、ニューロンが明確な機能的パーティションにクラスタリングされていることが示された。
• FFNレイヤーにおけるスパースな活性化パターンは、入力ごとに一部のニューロンしか活性化されないことを示しており、モジュラリティ仮説を支持する。
• エメrgェントブリックは機能の局在化を示し、特定のタスクや概念に対して一貫して活性化する特定のニューロンが存在することを示しており、事前学習済みLLMsに内在するモジュラリティの兆候である。
• タスク固有、知識拡張型、マルチモーダル対応型のモジュールなど、後処理により作成されたカスタマイズブリックは、効果的に作成可能であり、モデルに統合可能である。
• 提案された操作（ルーティング、マージ、更新、成長）により、関連するブリックのみを組み合わせてLLMsを動的に構成可能となり、複雑な指示に適応できる。
• モジュラーなフレームワークにより、計算効率性、パラメータの再利用性、トレーサビリティが実現され、分散型かつスケーラブルな推論、継続的学習への応用が可能となる。

Figure 2: The illustration for emergent bricks. In the randomly initialized, functional differentiation emerges following the pre-training phase. Neurons with similar functionalities can be aggregated to form small functional bricks. Here, the model is divided into two human-defined layer bricks, of