[논문 리뷰] Federated Large Language Models: Current Progress and Future Directions

Yuhang Yao, Jianyi Zhang외 12명|arXiv (Cornell University)|2024. 09. 24.

Topic Modeling인용 수 4

한 줄 요약

이 종합 검토는 최근의 피드포워드 미세조정 및 프롬프트 학습에서의 발전에 초점을 맞춘 피드포워드 대규모 언어 모델(FedLLM)에 대한 종합적인 개요를 제공한다. 데이터 및 모델 이질성, 통신 효율성, 프라이버시 등의 주요 과제를 규명하면서, 향후 연구 방향으로 피드포워드 사전학습, 디바이스 내 추론, 그리고 피드포워드 학습에서 합성 데이터 생성을 위한 LLM 활용을 제안한다.

ABSTRACT

Large language models are rapidly gaining popularity and have been widely adopted in real-world applications. While the quality of training data is essential, privacy concerns arise during data collection. Federated learning offers a solution by allowing multiple clients to collaboratively train LLMs without sharing local data. However, FL introduces new challenges, such as model convergence issues due to heterogeneous data and high communication costs. A comprehensive study is required to address these challenges and guide future research. This paper surveys Federated learning for LLMs (FedLLM), highlighting recent advances and future directions. We focus on two key aspects: fine-tuning and prompt learning in a federated setting, discussing existing work and associated research challenges. We finally propose potential directions for federated LLMs, including pre-training, federated agents, and LLMs for federated learning.

연구 동기 및 목표

• 의료 및 금융과 같은 데이터 민감도가 높은 분야에서 프라이버시를 보장하는 LLM 훈련의 증가하는 수요를 충족시키기 위해.
• 데이터/모델 이질성, 통신 비용, 보안 위협 등을 포함한 피드포워드 미세조정 및 프롬프트 학습의 핵심 과제를 규명하고 분석하기 위해.
• 파rameter 효율성, 수렴 안정성, 프레임워크 설계에 중점을 두고 최근의 FedLLM 방법론에 대한 체계적인 리뷰를 제공하기 위해.
• 피드포워드 사전학습, 디바이스 내 추론, 그리고 LLM을 활용한 합성 FL 데이터 생성과 같은 새로운 연구 방향을 탐색하기 위해.
• 확장성, 윤리적 배포, LLM을 피드포워드 학습 파ip라인에 통합하는 데 있어 열려 있는 문제들을 부각시켜 향후 연구를 이끌기 위해.

제안 방법

• 최근의 피드포워드 미세조정 및 프롬프트 학습 분야의 연구를 체계적으로 조사하여, 데이터/모델 이질성, 프라이버시, 효율성 대응 방식에 따라 접근 방식을 분류한다.
• 파라미터 효율적 미세조정(예: LoRA, 어댑터)과 통신 최적화 기법(예: 양자화, 희소화)을 활용하는지에 따라 방법을 분류한다.
• 크로스실 및 크로스디바이스 FL 프레임워크인 FedRDMA, OpenFedLLM, FederatedScope-LLM 등을 검토하여 확장성과 실생활 적용 가능성 평가.
• FedLLM-Bench 및 Profit과 같은 평가 벤치마크와 FedPEAT 및 FedMeZO와 같은 수렴 분석 도구를 분석하여 모델 안정성 평가.
• 새로운 방향으로는 모델 압축과 완전 분할 데이터 병렬 처리를 통한 피드포워드 사전학습 및 합성 데이터 생성을 위한 LLM 활용을 제안한다.
• 지식 증류, 프롬프트 엔지니어링, 용량 증강을 통해 LLM을 활용해 FL 성능을 향상시키고, 제한된 데이터에서의 수렴을 개선한다.

실험 결과

연구 질문

• RQ1 데이터 및 모델 이질성 하에서 LLM의 피드포워드 미세조정은 어떻게 효율적이고 견고하게 개선될 수 있는가?
• RQ2 피드포워드 환경에서 LLM 훈련을 프라이버시 보장, 안전성, 통신 효율성 있게 수행하기 위한 기법은 무엇인가?
• RQ3 LoRA 및 어댑터와 같은 파라미터 효율적 기법은 어떻게 피드포워드 LLM에서 계산 비용을 줄이면서도 성능을 유지할 수 있도록 조정될 수 있는가?
• RQ4 제한된 하드웨어 및 데이터 조건에서 LLM의 피드포워드 사전학습에서의 핵심 과제와 기회는 무엇인가?
• RQ5 LLM은 지식 증류와 프롬프트 엔지니어링을 통해 어떻게 합성 데이터를 생성하거나 FL 성능을 향상시킬 수 있는가?

주요 결과

• FedDAT 및 RaFFM에서 보여지듯이, 지식 증류와 어댑터 기반 정규화를 통해 FedLLM의 데이터 이질성이 완화된다.
• 모델 압축, 희소화, 양자화를 통해 통신 효율성이 크게 향상되었으며, CEFHRI 및 FedKSeed 등의 방법이 대역폭 사용량을 줄였다.
• LoRA 및 SLoRA와 같은 파라미터 효율적 미세조정 기법은 최소한의 계산 오버헤드로 높은 성능을 달성하여 자원 제약이 있는 디바이스에의 배포를 가능하게 한다.
• 완전 분할 데이터 병렬 처리와 모델 압축을 통해 피드포워드 사전학습이 점차 실현 가능해지고 있으며, 메모리 및 통신 비용이 감소한다.
• LLM은 일반화를 향상시키고 데이터 부족 문제를 완화하기 위해 고품질의 합성 데이터를 생성할 수 있으나, 프라이버시 누출을 방지하기 위해 신중한 관리가 필요하다.
• 합성 데이터 생성 시 윤리적 및 법적 위험은 프라이버시 유출 및 지적재산권 침해를 방지하기 위한 강력한 프레임워크 필요성이 요구된다. 특히 규제가 엄격한 분야에서 이는 더욱 중요하다.