[논문 리뷰] FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients

Jianyu Wang, Hang Qi외 5명|arXiv (Cornell University)|2022. 01. 28.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

FedLite는 분할 학습 활성화를 새로운 제품 양자화 기반 클러스터링 기법과 기울기 보정 기술을 통해 압축함으로써 자원 제약이 있는 클라이언트를 위한 통신 효율적인 플랫폼 학습 프레임워크를 제안한다. 이는 시각 및 언어 벤치마크에서 최대 490배의 통신 감소를 이끌어내며 정확도 손실 최소화를 달성한다.

ABSTRACT

In classical federated learning, the clients contribute to the overall training by communicating local updates for the underlying model on their private data to a coordinating server. However, updating and communicating the entire model becomes prohibitively expensive when resource-constrained clients collectively aim to train a large machine learning model. Split learning provides a natural solution in such a setting, where only a small part of the model is stored and trained on clients while the remaining large part of the model only stays at the servers. However, the model partitioning employed in split learning introduces a significant amount of communication cost. This paper addresses this issue by compressing the additional communication using a novel clustering scheme accompanied by a gradient correction method. Extensive empirical evaluations on image and text benchmarks show that the proposed method can achieve up to $490 imes$ communication cost reduction with minimal drop in accuracy, and enables a desirable performance vs. communication trade-off.

연구 동기 및 목표

• 클라이언트가 전체 모델 업데이트를 처리할 수 있을 정도의 저장소 및 컴퓨팅 자원이 부족한 상황에서 대규모 머신 러닝 모델을 플랫폼 학습 환경에서 훈련하는 데 도전하는 것.
• 각 훈련 반복 시 클라이언트와 서버 간에 큰 활성화 벡터를 전송함으로써 발생하는 높은 통신 비용을 해결하는 것.
• 클라이언트 측 자원 사용과 통신 오버헤드를 최소화함으로써 에지 디바이스에서 확장 가능하고 프라이버시를 보장하는 플랫폼 학습을 가능하게 하는 것.
• 새로운 기울기 보정 메커니즘을 통해 중간 활성화의 극도로 압축된 상태에서도 높은 모델 정확도를 유지하는 것.

제안 방법

• 자르기 레이어에서 클라이언트 측 활성화 벡터를 유사도 기반으로 군집화하고, 서버로 전송하는 것은 클러스터 중심점뿐인 군집 기반 활성화 압축 방법을 제안한다.
• 하위벡터를 그룹화하여 고압축 비율을 달성하면서도 표현력의 정밀도를 유지하는 수정된 제품 양자화기를 도입한다.
• 양자화로 인해 발생하는 노이즈를 보완하기 위해 클라이언트 측 기울기를 조정하는 기울기 보정 기술을 통합하여 모델 수렴을 향상시킨다.
• 양자화 레이어를 분할 학습 파이프라인에 원활하게 통합하여 표준 분할 학습과 동일한 프라이버시 보장을 유지한다.
• 기울기 보정 강도를 제어하는 하이퍼파rameter λ를 사용하며, 이는 압축과 정확도 사이의 균형을 맞추기 위해 튜닝된다.
• 군집 수 L과 하위벡터 수 q를 고정하여 압축 비율과 모델 성능 간의 상호 관계를 탐색한다.

실험 결과

연구 질문

• RQ1 군집화 및 양자화를 통한 활성화 압축이 분할 학습에서 모델 정확도를 떨어뜨리지 않으면서도 통신 비용을 크게 줄일 수 있는가?
• RQ2 제안된 기울기 보정 메커니즘이 양자화 노이즈로 인한 클라이언트 측 업데이트 성능 저하를 어떻게 완화하는가?
• RQ3 제안된 프레임워크에서 통신 감소와 모델 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 제안된 양자화 기법이 표준 제품 양자화 및 기타 압축 기법에 비해 압축 비율과 정확도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• FEMNIST 데이터셋에서 FedLite는 최대 490배의 통신 감소를 이끌어내며 정확도 손실이 5% 미만이었으며, 분할 학습에서 유발되는 추가 통신을 극도로 줄이는 데 뛰어난 효율성을 보였다.
• SO Tag 데이터셋에서는 247배의 압축을 달성하면서 정확도 손실이 극히 미미했고, Recall@5까지 향상되어 드롭아웃과 유사한 정규화 효과가 있을 가능성이 제기되었다.
• 기울기 보정 기술은 필수적이다: 이 기술 없이 고압축 비율에서 모델은 발산하며, 조그만 λ 값(10−5에서 10−3)조차도 성능 향상에 뚜렷한 기여를 한다.
• 하위벡터 그룹화 기법을 적용한 제안된 양자화기(R < q)는 기존의 보편적 제품 양자화 대비 압축 비율을 한 단계 높였고, 정확도 손실은 거의 없었다.
• FedAvg와 비교했을 때 FedLite는 업로드 통신 비용을 62배 감소시키고 클라이언트 측 학습 가능한 파라미터를 64배 줄였으며, 정확도는 유사하거나 더 높게 달성했다.
• 수렴 분석을 통해 통신 감소와 수렴 속도 사이에 명확한 트레이드오프가 존재하는 것으로 드러났으며, 이는 안정적인 훈련을 위해 기울기 보정이 반드시 필요하다는 점을 설명한다.