[논문 리뷰] Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources

Jiamu Bai, Daoyuan Chen외 3명|arXiv (Cornell University)|2024. 02. 18.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델을 위한 새로운 피드포워드 미세조정 프레임워크인 FlexLoRA를 제안한다. 이 프레임워크는 클라이언트의 자원에 따라 로컬 LoRA 랭크를 동적으로 조정함으로써 이질적인 클라이언트의 능력을 최대한 활용한다. SVD 기반 재분배를 통해 전체 크기의 LoRA 가중치를 집계함으로써 글로벌 모델의 일반화 능력을 향상시키며, 자원과 작업이 다양한 1,600명 이상의 클라이언트에서 약 3.1%의 평균 향상을 달성한다.

ABSTRACT

Federated Learning (FL) has recently been applied to the parameter-efficient fine-tuning of Large Language Models (LLMs). While promising, it raises significant challenges due to the heterogeneous resources and data distributions of clients. This study introduces FlexLoRA, a simple yet effective aggregation scheme for LLM fine-tuning, which mitigates the ``bucket effect'' in traditional FL that restricts the potential of clients with ample resources by tying them to the capabilities of the least-resourced participants. FlexLoRA allows for dynamic adjustment of local LoRA ranks, fostering the development of a global model imbued with broader, less task-specific knowledge. By synthesizing a full-size LoRA weight from individual client contributions and employing Singular Value Decomposition (SVD) for weight redistribution, FlexLoRA fully leverages heterogeneous client resources. Involving thousands of clients performing heterogeneous NLP tasks and client resources, our experiments validate the efficacy of FlexLoRA, with the federated global model achieving consistently better improvement over SOTA FL methods in downstream NLP task performance across various heterogeneous distributions. FlexLoRA's practicality is further underscored by our theoretical analysis and its seamless integration with existing LoRA-based FL methods, offering a path toward cross-device, privacy-preserving federated tuning for LLMs.

연구 동기 및 목표

• 저자원 클라이언트가 존재하는 피드포워드 학습에서 '버킷 효과'(bucket effect)를 해결하기 위해, 고자원 클라이언트가 보유한 잠재적 능력이 활용되지 않는 문제를 해결하고자 한다.
• 풍부한 자원을 가진 클라이언트가 더 높은 랭크의 LoRA 어댑터를 기여함으로써 피드포워드 LLM의 일반화 능력을 향상시키고, 과적합을 줄이기 위한 목적이 있다.
• 이종 클라이언트 자원을 최대한 활용할 수 있도록 기존 LoRA 기반 피드포워드 학습 방법과 호환되는 단순하고 즉시 적용 가능한 집계 기법을 설계하고자 한다.
• 동적 랭크 조정 및 SVD 기반 가중치 재분배가 글로벌 모델 성능 향상에 기여한다는 것에 대한 이론적 근거와 실증적 검증을 제공하고자 한다.

제안 방법

• FlexLoRA는 클라이언트의 가용 컴퓨팅 및 메모리 자원에 따라 로컬 LoRA 랭크를 동적으로 할당함으로써 고자원 클라이언트가 더 큰 랭크를 사용할 수 있도록 한다.
• 집계 이전에 개별 클라이언트 기여로부터 전체 크기의 LoRA 가중치 행렬을 구성함으로써 직접적인 파rameter 평균화를 방지한다.
• 특이값 분해(Singular Value Decomposition, SVD)를 적용하여 글로벌 LoRA 가중치를 재분배함으로써 다양한 랭크 기여를 효과적으로 융합한다.
• FedAvg 및 FedIT와 같은 기존 LoRA 기반 피드포워드 프레임워크와 원활하게 통합되며, 아키텍처 변경 없이 성능을 향상시킨다.
• 이론적 분석을 통해 이 방법이 이종 데이터 및 자원 분포 하에서 일반화 성능 향상에 기여한다는 점을 뒷받침한다.
• 다양한 NLP 작업을 수행하는 1,600명 이상의 클라이언트를 대상으로 한 대규모이고 크로스 디바이스 피드포워드 시뮬레이션 환경에서 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 이종 클라이언트 자원 조건 하에서 로컬 LoRA 랭크의 동적 조정이 피드포워드 LLM 미세조정에서 '버킷 효과'를 완화할 수 있는가?
• RQ2 표준 FedAvg 또는 랭크 제약 집계와 비교해 전체 크기의 LoRA 가중치를 SVD 기반으로 재분배하는 방식이 글로벌 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ3 다양한 정도의 작업 특이성과 데이터 이질성을 가진 다양한 NLP 작업에서 FlexLoRA는 어떤 성능을 보이는가?
• RQ4 FlexLoRA는 기존 LoRA 기반 피드포워드 베이스라인에 손실 없이 효과적으로 통합될 수 있는가? 재학습이 필요 없는가?
• RQ5 피드포워드 환경에서 더 높은 랭크의 로컬 LoRA 업데이트가 제로샷 일반화 및 후행 작업 성능에 어떤 영향을 미치는가?

주요 결과

• FlexLoRA는 표준 FedAvg 및 FedIT 베이스라인 대비 후행 NLP 작업 성능에서 최대 3.1%의 평균 향상을 달성하였다.
• 이 방법은 제로샷 Rouge-L 점수에서 4% 향상되었으며, 오버랩 추출 및 텍스트 함의 작업에서 최대 4%의 성능 향상을 보였다.
• 문장 간 관계에 대한 추론이 필요한 작업에서는 각각 최대 4% 및 2.5%의 성능 향상을 기록하여 일반화 능력의 우수성을 입증하였다.
• 상위 30개의 특이값만을 사용할 경우 SVD 기반 근사가 0.16의 낮은 오차 비율을 기록하여 재분배된 가중치의 정밀도를 확인하였다.
• 동일한 고랭크 설정에서 FedIT와 유사한 성능을 기록함으로써, 통제된 조건 하에서의 효과성을 검증하였다.
• 실증 결과는 동종 조건에서는 표준 방법과 성능가능성을 유지하면서도, 이종 조건에서는 뚜렷한 승리를 거두었음을 확인하였다.