[논문 리뷰] Federated Customization of Large Models: Approaches, Experiments, and Insights

Yuchuan Ye, Ming Ding외 3명|arXiv (Cornell University)|2026. 01. 02.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

이 논문은 대형 언어 모델과 비전 모델의 연합 맞춤화 기법을 조사하고, 중앙화된 방법과 경쟁력 있는 성능을 보여주는 연합 프리픽스 튜닝 실험을 처음으로 제시한다.

ABSTRACT

In this article, we explore federated customization of large models and highlight the key challenges it poses within the federated learning framework. We review several popular large model customization techniques, including full fine-tuning, efficient fine-tuning, prompt engineering, prefix-tuning, knowledge distillation, and retrieval-augmented generation. Then, we discuss how these techniques can be implemented within the federated learning framework. Moreover, we conduct experiments on federated prefix-tuning, which, to the best of our knowledge, is the first trial to apply prefix-tuning in the federated learning setting. The conducted experiments validate its feasibility with performance close to centralized approaches. Further comparison with three other federated customization methods demonstrated its competitive performance, satisfactory efficiency, and consistent robustness.

연구 동기 및 목표

• 프라이버시/규제 제약 하에서 기본 LMs의 연합 맞춤화 필요성 동기 부여.
• FL 설정에서 인기 있는 LM 커스터마이제이션 기법을 검토하고 분류합니다.
• 실험을 통해 연합 프리픽스 튜닝의 타당성과 성능을 입증합니다.
• 연합 LM 커스터마이제이션 방법들 간의 통신 및 계산 비용을 비교합니다.
• 연합 LM 커스터마이제이션의 향후 연구 방향을 식별합니다.

제안 방법

• 여섯 가지 LM 커스터마이제이션 기법을 조사합니다: 전체 파인튜닝, 효율적 파인튜닝, 프롬프트 엔지니어링, 프리픽스 튜닝, RAG, 지식 증류.
• 각 기법을 연합 학습 설정에 매핑하고 프라이버시, 비용, 확장성 함의를 논의합니다.
• 프리픽스 임계 파라미터를 집계하는 방식으로 원시 프리픽스를 합치는 대신 프리픽스 옵티마이저 파라미터를 집계하여 연합 프리픽스 튜닝을 제안하고 구현합니다.
• 백본으로 GPT-2 계열 모델을 사용하여 E2E 및 DART 데이터세트에서 표-텍스트 변환 실험을 수행합니다.
• 정확도와 자원 사용 면에서 네 가지 연합 커스터마이제이션 방법(FFFT, FAT, FKD, FPT)을 비교합니다.
• 다양한 클라이언트 수와 비 IID 데이터 조건에 대한 강건성을 분석합니다.

실험 결과

연구 질문

• RQ1 다양한 클라이언트에 걸친 대형 모델 커스터마이제이션에 연합학습을 적용하는 것이 얼마나 실행 가능한가?
• RQ2 정확도와 효율성 측면에서 FL 하에서 서로 다른 LM 커스터마이제이션 접근법은 어떻게 성능을 보이는가?
• RQ3 연합 프리픽스 튜닝이 중앙집중식 또는 단일 클라이언트 학습과 경쟁력 있는 결과를 달성할 수 있는가?
• RQ4 클라이언트 수와 비 IID 데이터가 연합 LM 커스터마이제이션 방법에 미치는 영향은 무엇인가?
• RQ5 FL 기반 LM 커스터마이제이션의 통신 비용, 계산량, 성능 간의 실용적인 트레이드오프는 무엇인가?

주요 결과

데이터셋	방법	BLEU	NIST	METEOR	ROUGE-L	CIDEr	학습 가능한 파라미터 (M)	피크 메모리 (GB)	중단 에폭
E2E	FPT	68.91 ±0.12	8.80 ±0.02	46.25 ±0.21	71.71 ±0.08	2.48 ±0.01	25	4.8	17
E2E	FFFT	67.67 ±0.14	8.56 ±0.19	45.81 ±0.18	70.53 ±0.17	2.44 ±0.02	345	7.6	5
E2E	FAT	68.23 ±0.16	8.63 ±0.19	45.95 ±0.14	71.90 ±0.17	2.44 ±0.02	25	4.8	6
E2E	FKD	68.55 ±0.18	8.71 ±0.23	45.29 ±0.01	70.60 ±0.23	2.40 ±0.03	38.3	5.9	18
DART	FPT	45.55 ±0.21	8.73 ±0.06	38.38 ±0.25	60.21 ±0.23	2.82 ±0.01	25	4.8	21
DART	FFFT	34.19 ±0.28	6.50 ±0.25	38.70 ±0.19	55.00 ±0.17	1.95 ±0.01	345	7.6	6
DART	FAT	32.24 ±0.18	6.11 ±0.22	38.42 ±0.21	53.98 ±0.15	1.88 ±0.01	25	4.8	7
DART	FKD	31.13 ±0.20	5.60 ±0.12	26.83 ±0.15	43.75 ±0.18	1.44 ±0.02	38.3	5.9	20

• GPT-2 계열 백본과 함께하는 연합 프리픽스 튜닝(FPT)은 E2E 및 DART 표-텍스트 태스크에서 중앙 집중식 접근법에 거의 근접한 경쟁력을 달성한다.
• FPT는 종종 개별 클라이언트 학습보다 우수하고 중앙집중식 프리픽스 튜닝 결과에 근접할 수 있으며, 더 낮은 통신 및 계산 비용을 보인다.
• 비교 기법(FFFT, FAT, FKD, FPT)은 E2E에서 비슷한 성능을 보이고, 더 도전적인 DART 태스크에서는 FPT가 명확한 우위를 보인다.
• FPT는 증가하는 클라이언트 수에 대한 강건성을 보이고, 비 IID 설정에서 FKD보다 성능 저하가 작다.
• 연합 프리픽스 튜닝은 모델 크기에 따라 확장되며(GPT-2 Large가 GPT-2 Medium보다 성능 향상; 더 큰 모델이 모든 데이터셋에서 반드시 이점을 보장하지는 않음).
• 클라이언트 수가 20–50인 연합 학습 구성은 성능에 다양한 영향을 보이며, 높은 클라이언트 수에서도 FPT가 상대적으로 더 강한 성능을 유지한다.