[논문 리뷰] FedAdapter: Efficient Federated Learning for Modern NLP

Dongqi Cai, Yaozong Wu외 3명|arXiv (Cornell University)|2022. 05. 20.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

FedAdapter는 트랜스포머 레이어에 삽입되는 작은 학습 가능한 모듈인 어댑터 모듈을 동적으로 구성함으로써 대규모 NLP 모델의 피드포워드 미세조정을 가속화하는 프레임워크입니다. 점진적인 어댑터 확장과 실시간 프로파일링을 활용하여 기존 FedNLP 대비 수렴 시간을 최대 155.5배 빠르게 하여 모바일 디바이스에서 실용적인 학습 속도를 달성합니다.

ABSTRACT

Transformer-based pre-trained models have revolutionized NLP for superior performance and generality. Fine-tuning pre-trained models for downstream tasks often requires private data, for which federated learning is the de-facto approach (i.e., FedNLP). However, our measurements show that FedNLP is prohibitively slow due to the large model sizes and the resultant high network/computation cost. Towards practical FedNLP, we identify as the key building blocks adapters, small bottleneck modules inserted at a variety of model layers. A key challenge is to properly configure the depth and width of adapters, to which the training speed and efficiency is highly sensitive. No silver-bullet configuration exists: the optimal choice varies across downstream NLP tasks, desired model accuracy, and mobile resources. To automate adapter configuration, we propose FedAdapter, a framework that enhances the existing FedNLP with two novel designs. First, FedAdapter progressively upgrades the adapter configuration throughout a training session; the principle is to quickly learn shallow knowledge by only training fewer and smaller adapters at the model's top layers, and incrementally learn deep knowledge by incorporating deeper and larger adapters. Second, FedAdapter continuously profiles future adapter configurations by allocating participant devices to trial groups. Extensive experiments show that FedAdapter can reduce FedNLP's model convergence delay to no more than several hours, which is up to 155.5$ imes$ faster compared to vanilla FedNLP and 48$ imes$ faster compared to strong baselines.

연구 동기 및 목표

• 대규모 트랜스포머 모델의 피드포워드 미세조정(FedNLP)에서 발생하는 과도한 통신 및 계산 오버헤드 문제를 해결합니다.
• FedNLP의 학습 지연을 줄여 모바일 및 엣지 환경에 대한 실용적인 구현을 가능하게 합니다.
• 어댑터 모듈이 피드포워드 환경에서 효율적인 파라미터 효율적 미세조정을 가능하게 하는 핵심 요소임을 규명합니다.
• 다양한 NLP 작업과 기기 제약 조건을 고려해 최적의 어댑터 깊이 및 너비 구성 선택을 자동화합니다.
• 적응형 학습 전략을 통해 정확도를 훼손하지 않으면서도 수렴 속도를 빠르게 합니다.

제안 방법

• 트랜스포머 레이어의 다양한 위치에 삽입되는 작은 학습 가능한 블로킹 모듈인 어댑터를 도입하여 학습 가능한 파라미터 수와 통신 비용을 감소시킵니다.
• 점진적 학습 파라다임을 적용합니다: 처음에는 상단 레이어의 어댑터만 사용하고 학습 중에 점차 더 깊고 넓은 어댑터를 추가합니다.
• 시험-오류 프로파일링 메커니즘을 활용합니다: 향후 어댑터 구성 설정을 사전 평가하기 위해 기기를 일시적인 시험 그룹에 할당합니다.
• 활성화 캐싱을 적용하여 불필요한 활성화를 저장하지 않아 역전파 중 메모리 및 계산 오버헤드를 줄입니다.
• 기존의 플러딩 학습 최적화 기법(예: 클라이언트 선택 및 데이터 샘플링)과 통합하여 광범위한 피드포워드 학습 파이프라인과의 호환성을 확보합니다.
• 오직 어댑터 파라미터만 업데이트함으로써 기울기 계산을 최적화하고, 나머지 사전 학습 모델(99% 이상의 파라미터)은 동결합니다.

실험 결과

연구 질문

• RQ1 어댑터 기반의 파라미터 효율적 미세조정이 전체 미세조정 대비 피드포워드 NLP에서 학습 지연을 크게 감소시킬 수 있는가?
• RQ2 어댑터 깊이 및 너비의 구성이 피드포워드 NLP에서 수렴 속도와 모델 정확도에 미치는 영향은 어떠한가?
• RQ3 다양한 NLP 작업과 기기 자원 조건에서 동적이고 점진적인 구성 전략이 정적 어댑터 구성 전략을 능가할 수 있는가?
• RQ4 향후 어댑터 구성 설정의 실시간 프로파일링이 피드포워드 환경에서 학습 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 수렴 시간과 통신 비용 측면에서 FedAdapter는 강력한 기준 모델 및 기존 FedNLP 대비 성능 및 효율성에서 어떤가?

주요 결과

• FedAdapter는 FedNLP의 모델 수렴 지연을 몇 시간 이내로 줄여 기존 FedNLP 대비 최대 155.5배 빠른 속도를 달성합니다.
• FedAdapter는 강력한 기준 모델 대비 수렴 시간에서 48배의 빠른 속도를 기록하여 뛰어난 효율성을 입증합니다.
• 점진적인 어댑터 구성 전략은 처음에 얕고 작은 어댑터만 학습함으로써 초기 학습 오버헤드를 크게 감소시킵니다.
• 시험 그룹을 통한 실시간 프로파일링은 최적의 향후 어댑터 구성 설정을 정확하게 예측하여 낭비되는 계산을 최소화합니다.
• 오직 어댑터 파라미터만 업데이트되고 전송되므로 통신 비용이 극적으로 감소하여 기울기 및 모델 업데이트 크기가 작아집니다.
• 학습 시간을 단축시키면서도 높은 모델 정확도를 유지하여 다양한 NLP 작업과 모바일 기기 제약 조건에서 효과적임을 입증합니다.