[논문 리뷰] Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities
이 논문은 LLM을 재료 과학 및 공학 분야에 적응시키기 위한 피니테이닝 전략—계속된 사전학습(CPT), 지도학습 피니테이닝(SFT), 선호도 최적화(DPO, ORPO)—를 조사한다. 모델 병합이 개별 모델을 초월해 비선형적이고 상호보완적인 능력을 유도함을 보여주며, Llama 3.1 8B 및 Mistral 7B에서 성능 향상이 관찰되었고, 더 작은 모델(1.7B)은 제한된 기능 유도를 보이며 모델 스케일링이 이러한 상호보완적 성능 향상에 필수적임을 시사한다.
The advancement of Large Language Models (LLMs) for domain applications in fields such as materials science and engineering depends on the development of fine-tuning strategies that adapt models for specialized, technical capabilities. In this work, we explore the effects of Continued Pretraining (CPT), Supervised Fine-Tuning (SFT), and various preference-based optimization approaches, including Direct Preference Optimization (DPO) and Odds Ratio Preference Optimization (ORPO), on fine-tuned LLM performance. Our analysis shows how these strategies influence model outcomes and reveals that the merging of multiple fine-tuned models can lead to the emergence of capabilities that surpass the individual contributions of the parent models. We find that model merging leads to new functionalities that neither parent model could achieve alone, leading to improved performance in domain-specific assessments. Experiments with different model architectures are presented, including Llama 3.1 8B and Mistral 7B models, where similar behaviors are observed. Exploring whether the results hold also for much smaller models, we use a tiny LLM with 1.7 billion parameters and show that very small LLMs do not necessarily feature emergent capabilities under model merging, suggesting that model scaling may be a key component. In open-ended yet consistent chat conversations between a human and AI models, our assessment reveals detailed insights into how different model variants perform and show that the smallest model achieves a high intelligence score across key criteria including reasoning depth, creativity, clarity, and quantitative precision. Other experiments include the development of image generation prompts based on disparate biological material design concepts, to create new microstructures, architectural concepts, and urban design based on biological materials-inspired construction principles.
연구 동기 및 목표
- CPT, SFT 및 선호도 기반 최적화(DPO, ORPO)가 도메인 특화 과학 응용 분야에서 LLM 성능에 미치는 영향을 평가하는 것.
- 모델 병합이 개별 부모 모델에 존재하지 않는 기능적 잠재력을 유도할 수 있는지 조사하는 것.
- 모델 스케일링과 부모 모델 간의 다양성이 상호보완적 성능 향상에 기여하는 방식을 평가하는 것.
- 병합된 모델이 생물학적 영감을 받은 프롬프트를 사용해 다중 전환 대화 및 이미지 생성 작업에서 얼마나 효과적인지 평가하는 것.
- 작은 LLM(1.7B 파라미터)이 병합을 통해 기능적 잠재력을 보일 수 있는지, 또는 스케일링이 필수 조건인지 비교 평가하는 것.
제안 방법
- 재료 과학 및 공학 분야의 도메인 특화 과학 문헌 코퍼스를 사용해 Llama 3.1 8B 및 Mistral 7B 모델을 CPT로 훈련시켰다.
- 지침 데이터셋을 정제해 적용해 작업 특화 성능 및 지시어 따르기 능력을 향상시켰다.
- DPO 및 ORPO를 사용해 선호도 기반 최적화를 수행했으며, 복잡한 보상 모델링을 피하기 위해 직접 선호도 신호를 최적화했다.
- LoRA를 사용해 효율적인 피니테이닝을 구현했으며, 랭크 r = 16 또는 64로 모든 선형 레이어에 저랭크 어댑터를 적용했다.
- 모델 파라미터 가중 평균을 사용해 피니테이닝된 모델을 병합했으며, 표준화된 점수(ZAi)와 클러스터링 분석을 통해 성능을 분석했다.
- 다중 전환 인간-AI 대화 및 생물학적 영감을 받은 프롬프트를 사용해 토너먼트된 FLUX.1-dev 모델을 활용한 이미지 생성을 통해 모델을 평가했다.
실험 결과
연구 질문
- RQ1CPT, SFT 및 선호도 기반 최적화(DPO, ORPO)는 재료 과학 응용 분야에서 LLM 성능 향상에 어떻게 비교될 수 있는가?
- RQ2여러 개의 피니테이닝된 모델을 병합하면 개별 부모 모델에 존재하지 않는 기능적 잠재력이 발생할 수 있는가?
- RQ3모델 병합 과정에서 상호보완적 행동을 유도하는 데 있어 모델 스케일링의 역할은 무엇인가?
- RQ4부모 모델 간의 다양성이 모델 병합 성공에 어떤 영향을 미치는가?
- RQ5매우 작은 LLM(예: 1.7B 파라미터)은 병합 후 기능적 잠재력을 보일 수 있는가, 아니면 스케일링이 필수 조건인가?
주요 결과
- 모델 병합은 부모 모델의 평균을 초월하는 성능 향상을 이끌어내며, 모델 파라미터 간 비선형적이고 상호보완적인 상호작용을 시사한다.
- 최고 성능을 보인 병합 모델은 기대 평균을 크게 상회하는 표준화된 실제 점수(ZAi)를 확보했으며, 기능적 잠재력이 존재함을 입증한다.
- 더 큰 모델(Llama 3.1 8B, Mistral 7B)은 병합 시 강력한 상호보완적 성능을 보였지만, 1.7B 모델은 최소한의 기능 유도 행동을 보였다.
- 가장 작은 모델(1.7B)은 제한된 기능 유도 능력에도 불구하고 인간-AI 대화에서 추론, 창의성, 명료성 및 정밀성 측면에서 높은 지능 점수를 확보했다.
- CPT 및 SFT와 함께 선호도 기반 최적화(ORPO, DPO)를 적용한 결과, SFT 단독 대비 더 뛰어난 성능을 기록했으며, 특히 지시어 따르기 및 추론 능력에서 두드러졌다.
- 병합된 모델을 사용해 생물학적 영감을 받은 프롬프트를 활용한 이미지 생성은 추상적이고 유기적인 미세구조를 성공적으로 생성했으며, 이는 다중 모odal 추론 능력을 시사한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.