[论文解读] Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities

Wei Lu, Rachel K. Luu+1 more|arXiv (Cornell University)|Sep 5, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了用于将大语言模型（LLM）适配至材料科学与工程领域的微调策略——持续预训练（CPT）、监督微调（SFT）以及偏好优化（DPO、ORPO）。结果表明，模型融合可产生超越单个模型的非线性协同能力，Llama 3.1 8B 和 Mistral 7B 模型均展现出性能提升，而较小模型（1.7B）则表现出有限的涌现特性，表明模型规模在实现此类协同效应中至关重要。

ABSTRACT

The advancement of Large Language Models (LLMs) for domain applications in fields such as materials science and engineering depends on the development of fine-tuning strategies that adapt models for specialized, technical capabilities. In this work, we explore the effects of Continued Pretraining (CPT), Supervised Fine-Tuning (SFT), and various preference-based optimization approaches, including Direct Preference Optimization (DPO) and Odds Ratio Preference Optimization (ORPO), on fine-tuned LLM performance. Our analysis shows how these strategies influence model outcomes and reveals that the merging of multiple fine-tuned models can lead to the emergence of capabilities that surpass the individual contributions of the parent models. We find that model merging leads to new functionalities that neither parent model could achieve alone, leading to improved performance in domain-specific assessments. Experiments with different model architectures are presented, including Llama 3.1 8B and Mistral 7B models, where similar behaviors are observed. Exploring whether the results hold also for much smaller models, we use a tiny LLM with 1.7 billion parameters and show that very small LLMs do not necessarily feature emergent capabilities under model merging, suggesting that model scaling may be a key component. In open-ended yet consistent chat conversations between a human and AI models, our assessment reveals detailed insights into how different model variants perform and show that the smallest model achieves a high intelligence score across key criteria including reasoning depth, creativity, clarity, and quantitative precision. Other experiments include the development of image generation prompts based on disparate biological material design concepts, to create new microstructures, architectural concepts, and urban design based on biological materials-inspired construction principles.

研究动机与目标

• 评估 CPT、SFT 以及基于偏好的优化（DPO、ORPO）对 LLM 在特定科学领域应用中性能的影响。
• 探究模型融合是否能生成在任一父模型中均未出现的涌现能力。
• 评估模型规模以及父模型间差异在实现协同性能提升中的作用。
• 评估融合模型在开放式、多轮对话以及使用生物启发式提示的图像生成任务中的有效性。
• 探索小型 LLM（1.7B 参数）通过融合是否能展现涌现能力，与大型模型进行对比。

提出的方法

• 使用材料科学与工程领域的特定科学语料对 Llama 3.1 8B 和 Mistral 7B 模型进行 CPT 训练。
• 通过精心筛选的指令数据集应用 SFT，以提升任务特定性能与指令遵循能力。
• 采用 DPO 和 ORPO 实现基于偏好的优化，通过直接优化偏好信号避免复杂奖励建模。
• 使用 LoRA 实现高效微调，在所有线性层上应用低秩适配器，秩 r = 16 或 64。
• 通过参数加权平均法融合微调后的模型，利用标准化分数（ZAi）和聚类分析性能。
• 通过多轮人机对话及使用微调后的 FLUX.1-dev 模型（以“叶状微结构”概念为提示）进行图像生成来评估模型。

实验结果

研究问题

• RQ1 CPT、SFT 以及基于偏好的优化（DPO、ORPO）在提升 LLM 在材料科学应用中性能方面有何差异？
• RQ2 融合多个微调后的模型是否能产生任一父模型中均未存在的涌现能力？
• RQ3 模型规模在模型融合过程中促进涌现协同行为方面发挥何种作用？
• RQ4 父模型之间的差异如何影响模型融合的成功程度？
• RQ5 极小的 LLM（如 1.7B 参数）在融合后是否表现出涌现能力，还是模型规模是必要前提？

主要发现

• 模型融合带来的性能提升超过父模型的平均值，表明模型参数之间存在非线性、协同的相互作用。
• 表现最佳的融合模型实现了显著高于预期平均值的标准化实际分数（ZAi），证明了涌现能力的存在。
• 大型模型（Llama 3.1 8B、Mistral 7B）在融合后展现出强大的协同性能，而 1.7B 模型则表现出极小的涌现行为。
• 最小的模型（1.7B）在人机对话中于推理、创造力、清晰度与精确度方面均取得了高智能分数，尽管其涌现能力有限。
• 基于偏好的优化（ORPO、DPO）与 CPT 和 SFT 结合后，性能优于仅使用 SFT，尤其在指令遵循与推理能力方面表现更优。
• 使用融合模型与生物启发式提示进行图像生成，成功生成了抽象且有机的微结构，表明具备跨模态推理能力。