Skip to main content
QUICK REVIEW

[논문 리뷰] FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment

Kehe Zhu, Liping Yi|arXiv (Cornell University)|2026. 03. 20.
Topic ModelingComputer Science인용 수 0
한 줄 요약

FedPDPO는 LoRA 기반 매개변수 효율적 미세조정, 클라이언트별 명시적 보상 헤드, 그리고 비 IID 데이터 하에서 LLM을 인간 선호도와 일치시키기 위한 병목 어댑터를 활용한 개인화된 연합 Direct Preference Optimization 프레임워크를 제시하며, 내부 및 교차 도메인 연합 설정에서 최첨단 성능을 달성합니다.

ABSTRACT

Aligning large language models (LLMs) with human preferences in federated learning (FL) is challenging due to decentralized, privacy-sensitive, and highly non-IID preference data. Direct Preference Optimization (DPO) offers an efficient alternative to reinforcement learning with human feedback (RLHF), but its direct application in FL suffers from severe performance degradation under non-IID data and limited generalization of implicit rewards. To bridge this gap, we propose FedPDPO (Federated Personalized Direct Preference Optimization), a personalized federated framework for preference alignment of LLMs. It adopts a parameter-efficient fine-tuning architecture where each client maintains a frozen pretrained LLM backbone augmented with a Low-Rank Adaptation (LoRA) adapter, enabling communication-efficient aggregation. To address non-IID heterogeneity, we devise (1) the globally shared LoRA adapter with the personalized client-specific LLM head. Moreover, we introduce (2) a personalized DPO training strategy with a client-specific explicit reward head to complement implicit rewards and further alleviate non-IID heterogeneity, and (3) a bottleneck adapter to balance global and local features. We provide theoretical analysis establishing the probabilistic foundation and soundness. Extensive experiments on multiple preference datasets demonstrate state-of-the-art performance, achieving up to 4.80% average accuracy improvements in federated intra-domain and cross-domain settings.

연구 동기 및 목표

  • 연합 설립 환경에서 인간 선호도에 대한 LLM의 프라이버시 보장 정렬을 다룬다.
  • 비 IID 데이터 이질성을 완화하면서 통신 효율성을 유지한다.
  • 개인화된 명시적 보상을 통해 DPO의 암시적 보상의 일반화성을 향상한다.
  • 전세계 공유 지식과 로컬 클라이언트 특화 적응 간의 균형을 맞춘다.
  • 도메인 설정 전반에 걸친 이론적 근거 및 실증적 검증을 제공한다.

제안 방법

  • 통신 효율적인 집계를 위해 전이 불안정한 frozen 사전학습 LLM 백본에 글로벌하게 공유되는 LoRA 어댑터를 사용한다.
  • 각 클라이언트 모델을 공유 LoRA-적용 백본과 개인화된 클라이언트 특화 LLM 헤드로 분해한다.
  • DPO의 암시적 보상을 보완하기 위한 클라이언트 특화 명시적 보상 헤드를 도입한다( PDPO ).
  • 전 세계적 및 지역적 특징을 태스크 헤드 전에 융합하고 균형을 맞추기 위한 병목 어댑터를 도입한다.
  • LoRA를 고정하고 개인화된 헤드를 먼저 업데이트한 후 LoRA 어댑터를 업데이트하는 교대 최적화 전략을 채택한다.
  • 암시적 DPO 여백과 명시적 보상 여백을 결합하고 적응적으로 스케일하는 PDPO 목표를 구성한다(Deltas = Delta_ir + w_r * s * Delta_er).

실험 결과

연구 질문

  • RQ1비밀을 유지하고 비 IID 데이터를 다루면서 연합 학습을 어떻게 활용해 LLM을 인간 선호도와 맞출 수 있는가?
  • RQ2개인화된 DPO 프레임워크가 FL에서 암시적 보상보다 일반화 및 강건성을 향상시킬 수 있는가?
  • RQ3LLM 헤드를 개인화하고 LoRA 어댉터를 공유하는 것이 비 IID 효과를 완화하면서 성능을 희생하지 않는가?
  • RQ4명시적 클라이언트 특화 보상 신호가 암시적 DPO 보상을 보강해 도메인 간 정렬을 향상시키는가?
  • RQ5전세계-로컬 특징 융합이 연합 LLM 정렬에서 공유 정보와 로컬 정보를 균형 있게 제공하는가?

주요 결과

  • FedPDPO는 도메인 내 설정에서 강력한 기준선 대비 평균 정확도에서 최대 4.80 포인트의 향상을 달성한다.
  • 교차 도메인 설정에서 FedPDPO는 평균 정확도 73.44%(표 2의 TinyLlama-1.1B)를 달성하고 기준선을 능가하며 예: 평균 2.83포인트의 차이로 우수하다.
  • DPO 기반 방법은 도메인 내외 FL 시나리오에서 일반적으로 PPO 기반 대안보다 우수하다.
  • 분리 효과 분석에서 명시적 보상 헤드가 매우 중요하며 이를 제거하면 정확도가 눈에 띄게 하락하고, 병목 어댑터는 유용한 특징 융합을 제공한다.
  • 다양한 데이터세트(IMDB 및 Code-Vulnerability-Security) 및 분할에 걸쳐 FedPDPO는 비 IID 조건에서 더 빠르게 수렴하고 강한 강건성을 보인다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.