[논문 리뷰] Towards Building the Federated GPT: Federated Instruction Tuning

Jianyi Zhang, Saeed Vahidian외 7명|arXiv (Cornell University)|2023. 05. 09.

Advanced Data Storage Technologies인용 수 8

한 줄 요약

이 논문은 LoRA를 이용한 파라미터 효율적 미세 조정으로 프라이버시를 보장하는 FedIT를 제안하며, 로컬 데이터가 제한적일 때도 중앙 집중 학습보다 향상된 성능을 보여준다.

ABSTRACT

While "instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.

연구 동기 및 목표

• LLM 지시 튜닝을 위한 대규모, 고품질 및 프라이버시 보호가 가능한 지시 데이터 확보의 도전 과제 조명.
• 파라미터 효율적 미세 조정으로 프라이버시를 보장하는 FL 접근 방식으로 Federated Instruction Tuning (FedIT) 도입.
• 다양하고 이질적인 클라이언트 지시가 FL 설정에서 모델 일반화를 개선할 수 있음을 보임.
• FedIT 연구와 실험을 촉진하기 위한 재사용 가능한 프레임워크 ( Shepherd ) 제공.

제안 방법

• FedIT 제안: 클라이언트는 글로벌 LLM과 학습 가능한 LoRA 어댑터로 초기화하며, 원시 데이터를 공유하지 않고 로컬 지시 튜닝을 수행한다.
• 계산 및 통신을 줄이기 위해 전체 모델 매개변수 대신 LoRA를 사용해 어댑터를 업데이트하는 파라미터 효율적 미세 조정을 활용한다.
• 서버는 FedAvg로 로컬 어댑터를 집계하고 이질성과 자원 변동성을 다루기 위해 클라이언트 선택과 함께 반복한다.
• LoRA 랭크 8을 사용하고 클라이언트 10, 라운드 20, 라운드당 5% 참여로 7B LLaMA 기반 설정에서 FedIT를 시연한다.
• FedIT 실험을 위한 클라이언트 데이터 할당, 스케줄링, 로컬 훈련 및 모델 집계를 지원하는 GitHub 프레임워크 Shepherd를 공개한다.

실험 결과

연구 질문

• RQ1 데이터가 분산되어 있고 프라이버시가 보장될 때 FedIT가 중앙 집중식 지시 튜닝과 비교해 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 클라이언트 간의 지시 및 언어/도메인 이질성이 FedIT 성능에 어떤 영향을 미치는가?
• RQ3 LoRA를 연합 지시 튜닝에 사용할 때 통신/계산 비용과 모델 성능 간의 트레이드오프는 무엇인가?
• RQ4 Shepherd와 같은 재사용 가능한 프레임워크가 다양한 LLM 및 데이터세트에 걸친 확장 가능하고 프라이버시를 보장하는 지시 튜닝 연구를 촉진할 수 있는가?

주요 결과

Baseline	Task	Scores	Relative Score
CentralizedModel	Centralized tuning with all the instructions	(142.2 ,130.7)	0.919
LLaMA	No instruction tuning	(114.0,131.7)	1.155
Local-1	Brainstorming instruction tuning	(120.0,131.0)	1.092
Local-2	Closed question answering instruction tuning	(116.1,129.0)	1.111
Local-3	Classification and brainstorming instruction tuning	(121.3,131.8)	1.087

• 다양한 클라이언트 지시를 가진 FedIT는 LLaMA 기준선 및 로컬 전용 학습보다 GPT-4 자동 평가 점수가 더 높다.
• FedIT는 제한된 로컬 지시만으로도 중앙 집중 학습을 능가하지만 전체 데이터로 학습된 중앙 집중 모델보다는 뒤처져, 연합 집계의 최적화 여지가 있음을 시사한다.
• 언어와 도메인 전반의 지시의 이질성은 적절한 연합 최적화 전략이 주어지면 FedIT의 일반화에 유익할 수 있다.
• LoRA 기반 파라미터 효율적 튜닝은 학습 가능한 매개변수 및 통신 비용을 크게 감소시켜 엣지 디바이스에서의 확장 가능한 연합 미세 조정을 가능하게 한다.
• Federated PEIT 연구 및 실험을 지원하기 위해 공개 프레임워크 Shepherd를 공개한다.