[论文解读] Configurable Foundation Models: Building LLMs from a Modular Perspective

Chaojun Xiao, Zhengyan Zhang+21 more|arXiv (Cornell University)|Sep 4, 2024

Semantic Web and Ontologies被引用 4

一句话总结

本文提出了可配置基础模型（CFMs）作为一种模块化框架，通过‘积木’——即在预训练过程中涌现或在微调后定制的功能神经元分区——构建大型语言模型（LLMs）。通过支持动态操作如路由、合并、更新和扩展，CFMs 实现了计算效率、可扩展性和适应性，实证证据表明 Llama-3-8B 和 Mistral-7B 模型的前馈网络（FFN）层中存在功能专业化现象。

ABSTRACT

Advancements in LLMs have recently unveiled challenges tied to computational efficiency and continual scalability due to their requirements of huge parameters, making the applications and evolution of these models on devices with limited computation resources and scenarios requiring various abilities increasingly cumbersome. Inspired by modularity within the human brain, there is a growing tendency to decompose LLMs into numerous functional modules, allowing for inference with part of modules and dynamic assembly of modules to tackle complex tasks, such as mixture-of-experts. To highlight the inherent efficiency and composability of the modular approach, we coin the term brick to represent each functional module, designating the modularized structure as configurable foundation models. In this paper, we offer a comprehensive overview and investigation of the construction, utilization, and limitation of configurable foundation models. We first formalize modules into emergent bricks - functional neuron partitions that emerge during the pre-training phase, and customized bricks - bricks constructed via additional post-training to improve the capabilities and knowledge of LLMs. Based on diverse functional bricks, we further present four brick-oriented operations: retrieval and routing, merging, updating, and growing. These operations allow for dynamic configuration of LLMs based on instructions to handle complex tasks. To verify our perspective, we conduct an empirical analysis on widely-used LLMs. We find that the FFN layers follow modular patterns with functional specialization of neurons and functional neuron partitions. Finally, we highlight several open issues and directions for future research. Overall, this paper aims to offer a fresh modular perspective on existing LLM research and inspire the future creation of more efficient and scalable foundational models.

研究动机与目标

• 解决单体大型语言模型（LLMs）在资源受限和多领域环境下的计算低效与可扩展性挑战。
• 克服静态全参数 LLM 在边缘设备部署以及适应不断变化、多样化应用场景时的局限性。
• 通过基于功能神经元分区（积木）和可配置操作的模块化架构，实现高效、动态且可组合的 LLM。
• 探索将 LLM 分解为可重用、可追踪和可更新的功能组件的可行性与优势，以实现可持续的模型演进。
• 通过系统性地从模块化视角审视基础模型，为未来可扩展、高效且互操作的 AI 系统研究奠定基础。

提出的方法

• 将‘积木’定义为功能模块：在预训练过程中通过参数分化涌现的积木，以及通过微调后定制以增强特定能力的积木。
• 定义四种核心操作：(1) 根据指令路由并检索相关积木，(2) 通过参数平均或拼接方式合并积木以完成复合任务，(3) 通过微调或注入方式更新积木，(4) 在预训练或微调过程中扩展积木以提升模型容量。
• 形式化定义积木粒度的五个层级：单个神经元、神经元组、层、完整模型以及混合模式，支持根据任务需求灵活配置。
• 对 Llama-3-8B-Instruct 和 Mistral-7B-Instruct-v0.3 进行实证分析，测量前馈网络（FFN）层中的稀疏激活、功能定位与专业化程度。
• 使用内在维度分析评估 LLM 的表征能力，并验证功能神经元分区的存在性。
• 提出一种基于模型级积木的多模型协作框架，具备统一中间表示或中介桥接模型的潜力，以实现高效跨模型通信。

Figure 1: The illustration of a configurable foundation model consisting of emergent and customized bricks. For a given instruction, we select and combine tiny bricks to build an efficient instruction-specific model with minimal performance loss.

实验结果

研究问题

• RQ1 是否能在预训练 LLM 的神经元级参数中观察到功能专业化，特别是在 FFN 层中？
• RQ2 涌现积木——即功能专业化神经元分区——在预训练过程中如何形成？其与下游能力之间有何关系？
• RQ3 在不引发灾难性遗忘的前提下，定制化积木在多大程度上可被有效注入和更新以增强模型能力？
• RQ4 哪些操作（如路由、合并、扩展）在动态组合模块化 LLM 以应对复杂多样的指令时最为有效且高效？
• RQ5 如何设计可扩展、互操作且通信高效的多模型系统，以模型级积木作为构建组件？

主要发现

• 实证分析证实，Llama-3-8B-Instruct 和 Mistral-7B-Instruct-v0.3 的 FFN 层表现出强烈的功能专业化，神经元聚类为独立的功能分区。
• FFN 层中的稀疏激活模式表明，仅部分神经元在每个输入下被激活，支持模块化假设。
• 涌现积木表现出功能定位性，即特定神经元在特定任务或概念上持续激活，表明预训练 LLM 中存在固有的模块化结构。
• 通过微调可有效创建定制化积木（如任务特定、知识增强或模态特定模块），并成功集成到模型中。
• 所提出的操作（路由、合并、更新、扩展）可实现 LLM 的动态配置，使模型能通过仅组合相关积木来适应复杂指令。
• 该模块化框架实现了计算效率、参数重用性和可追溯性，具备支持分布式与可扩展推理及持续学习的潜力。

Figure 2: The illustration for emergent bricks. In the randomly initialized, functional differentiation emerges following the pre-training phase. Neurons with similar functionalities can be aggregated to form small functional bricks. Here, the model is divided into two human-defined layer bricks, of