[논문 리뷰] PAFT: A Parallel Training Paradigm for Effective LLM Fine-Tuning

Shiva Kumar Pentyala, Zhichao Wang외 7명|arXiv (Cornell University)|2024. 06. 25.

Advanced Materials Characterization Techniques인용 수 4

한 줄 요약

PAFT는 동일한 사전학습된 LLM에서 독립적으로 지도 미세조정(SFT)과 선호도 정렬(예: DPO)을 수행한 후, 파라미터 융합을 통해 결과 모델을 융합하는 병렬 훈련 프레임워크를 제안한다. SFT에 L1 정규화를 적용하여 희소성을 유도함으로써 융합 과정에서의 간섭을 감소시켜 최고 성능을 달성하였으며, 7B 모델 카테고리에서 HuggingFace Open LLM 리더보드에서 평균 점수 0.6524로 1위를 기록하였다.

ABSTRACT

Large language models (LLMs) have shown remarkable abilities in diverse natural language processing (NLP) tasks. The LLMs generally undergo supervised fine-tuning (SFT) followed by preference alignment to be usable in downstream applications. However, this sequential training pipeline leads to alignment tax that degrades the LLM performance. This paper introduces PAFT, a new PArallel training paradigm for effective LLM Fine-Tuning, which independently performs SFT and preference alignment (e.g., DPO and ORPO, etc.) with the same pre-trained model on respective datasets. The model produced by SFT and the model from preference alignment are then merged into a final model by parameter fusing for use in downstream applications. This work reveals important findings that preference alignment like DPO naturally results in a sparse model while SFT leads to a natural dense model which needs to be sparsified for effective model merging. This paper introduces an effective interference resolution which reduces the redundancy by sparsifying the delta parameters. The LLM resulted from the new training paradigm achieved Rank #1 on the HuggingFace Open LLM Leaderboard. Comprehensive evaluation shows the effectiveness of the parallel training paradigm.

연구 동기 및 목표

• LLM 미세조정에서 순차적 SFT 이후 선호도 정렬을 수행할 경우 발생하는 정렬 세금을 해결하기 위해.
• 중복된 델타 파라미터로 인한 파라미터 간섭으로 인한 성능 저하를 줄이기 위해.
• L1 정규화를 통해 SFT 델타 파라미터의 희소성을 유도함으로써 모델 융합 효과를 향상시키기 위해.
• 희소 모델 통합을 통한 병렬 훈련이 순차적 훈련 및 기존 융합 기법보다 우수한 성능을 내는지 확인하기 위해.
• SFT와 선호도 정렬을 융합하는 강력하고 일반화 가능한 프레임워크를 구축하여 공개 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• SFT와 선호도 정렬(예: DPO)을 별도의 데이터셋에서 병렬로 훈련하는 병렬 훈련 프레임워크(PAFT)를 제안한다.
• SFT 손실 함수에 L1-노름 페널티를 적용하여, 미세조정된 가중치와 사전학습된 가중치의 차이인 델타 파라미터에 희소성을 암묵적으로 유도한다.
• SFT와 선호도 정렬에서 유도된 희소 델타 파라미터를 사용하여 파라미터 융합을 통한 모델 융합을 수행함으로써 모델 능력을 유지한다.
• TIES와 Task Arithmetic를 최고 성능을 보이는 융합 방법으로 활용하며, Mistral-7B에서 TIES가 뛰어난 성능을 보였다.
• HuggingFace Open LLM 리더보드와 AlpacaEval 벤치마크에서 종합적인 평가를 통해 방법을 검증한다.
• L1 기반 희소성 기법을 DARE와 같은 명시적 희소성 기법과 비교하여, L1이 성능과 품질 면에서 뛰어남을 보였다.

(a) Staged training

실험 결과

연구 질문

• RQ1 SFT와 선호도 정렬을 병렬로 훈련하는 것이 순차적 훈련 대비 정렬 세금을 줄이는가?
• RQ2 SFT 델타 파라미터의 희소성을 유도하면 융합 과정에서의 간섭을 완화할 수 있는가?
• RQ3 L1 정규화가 DARE와 같은 명시적 희소성 기법보다 병합된 모델의 성능 향상에 더 효과적인가?
• RQ4 TIES, Task Arithmetic와 같은 모델 융합 기법 중 PAFT와 조합했을 때 가장 우수한 성능을 내는 것은 무엇인가?
• RQ5 PAFT는 DPO 외에도 ORPO와 같은 다른 선호도 정렬 방법에 일반화될 수 있는가?

주요 결과

• PAFT 프레임워크는 7B 모델 카테고리에서 HuggingFace Open LLM 리더보드의 6개 작업 평균 점수 0.6524로 최고 성능을 기록하여 7B/8B 카테고리에서 1위를 차지하였다.
• PAFT를 적용한 70B 모델은 HuggingFace Open LLM 리더보드에서 글로벌 상위 랭킹을 확보하여 스케일러빌리티와 일반화 능력을 입증하였다.
• L1-정규화된 희소성 기반 병렬 SFT(SFT_spar se)는 모든 융합 방법과 벤치마크에서 비희소 SFT를 일관되게 능가하였다.
• SFT 델타 파라미터의 희소성을 유도하는 L1-노름 방법은 명시적 DARE 방법보다 더 효과적이고 품질이 높았다.
• TIES와 Task Arithmetic는 가장 효과적인 융합 전략으로 확인되었으며, 특히 Mistral-7B에서 TIES가 최고의 성능을 기록하였다.
• DPO와 ORPO와 같은 선호도 정렬 방법 모두 PAFT의 이점을 경험하여, 이 프레임워크가 다양한 정렬 기법에 일반화될 수 있음을 확인하였다.

(b) Parallel training