[논문 리뷰] ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity

Xinchi Qiu, Javier Fernández-Marqués외 4명|arXiv (Cornell University)|2022. 08. 04.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

ZeroFL은 적응형 희소화 기법과 CSR 기반 압축을 활용하여 최대 95%의 가중치 및 활성화 희소성에 기반해 디바이스 내 훈련을 가속화하는 새로운 피에르드러닝 학습 프레임워크이다. 90% 희소성에서 최신 기준 대비 최대 2.3% 높은 정확도를 달성하고, 업링크 통신을 3.0× 감소시키며, 비균형 데이터 및 자원 제약 조건에서도 높은 모델 성능을 유지한다.

ABSTRACT

When the available hardware cannot meet the memory and compute requirements to efficiently train high performing machine learning models, a compromise in either the training quality or the model complexity is needed. In Federated Learning (FL), nodes are orders of magnitude more constrained than traditional server-grade hardware and are often battery powered, severely limiting the sophistication of models that can be trained under this paradigm. While most research has focused on designing better aggregation strategies to improve convergence rates and in alleviating the communication costs of FL, fewer efforts have been devoted to accelerating on-device training. Such stage, which repeats hundreds of times (i.e. every round) and can involve thousands of devices, accounts for the majority of the time required to train federated models and, the totality of the energy consumption at the client side. In this work, we present the first study on the unique aspects that arise when introducing sparsity at training time in FL workloads. We then propose ZeroFL, a framework that relies on highly sparse operations to accelerate on-device training. Models trained with ZeroFL and 95% sparsity achieve up to 2.3% higher accuracy compared to competitive baselines obtained from adapting a state-of-the-art sparse training framework to the FL setting.

연구 동기 및 목표

• 제한된 자원을 가진 디바이스에서 모델 복잡성과 훈련 속도를 제약하는 온디바이스 훈련의 핵심적 한계를 해결하기 위해.
• 피에르드러닝에서 훈련 중 고도의 희소성 도입이 초래하는 고유한 과제, 예를 들어 데이터 불균형과 상태 없는 클라이언트를 연구하기 위해.
• 서버 측 모델 제약 없이 성능 저하 없이 온디바이스 훈련을 가속화하는 프레임워크를 개발하기 위해.
• 희소 모델 전송을 통해 통신 비용을 줄이되, 모델 정확도를 유지하거나 향상시키기 위해.
• 희소성은 통신 효율성 외에도 피에르드러닝에서 훈련 가속화에 효과적으로 활용될 수 있음을 입증하기 위해.

제안 방법

• ZeroFL은 세 가지 희소화 방법(상위-K-가중치, 상위-K-기울기, 상위-K-활성화)을 사용하여 온디바이스 훈련 중 국소적 희소화를 도입한다.
• 희소성 수준을 제어하기 위해 마스크 비율 전략을 활용하며, 훈련 중 비제로 가중치 비율을 동적으로 조정한다.
• 프레임워크는 모델 가중치를 서버로 전송하기 전에 압축된 희소 행렬(CSR) 형식을 사용하여 통신 오버헤드를 줄인다.
• 희소 컨볼루션 연산을 통해 전방 및 후방 전파 모두에서 희소성 적용으로 더 빠른 훈련을 가능하게 한다.
• 모든 훈련 라운드 동안 고정된 0 위치를 유지함으로써 글로벌 모델 일관성을 유지하고 수렴 안정성을 향상시킨다.
• 최신 희소화 기법을 피에르드러닝 파이프라인에 통합하면서 비균형 데이터와 기기 이질성 문제를 고려해 적응시켰다.

실험 결과

연구 질문

• RQ1 온디바이스 훈련 중 최대 95%의 고도 희소성 도입이 피에르드러닝에서 모델 정확도와 수렴에 어떤 영향을 미치는가?
• RQ2 특히 데이터 불균형과 모델 일관성 측면에서, 피에르드러닝에서 훈련 시점에 희소성 적용 시 발생하는 고유한 과제는 무엇인가?
• RQ3 희소성은 통신 감소 외에도 피에르드러닝에서 온디바이스 훈련 가속화에 활용될 수 있는가?
• RQ4 다양한 희소화 전략(예: 상위-K-가중치 대비 상위-K-기울기)이 고도 희소성 조건에서 최종 모델 성능에 어떤 영향을 미치는가?
• RQ5 통신 비용과 모델 정확도를 균형 잡는 데 최적의 마스크 비율은 무엇인가?

주요 결과

• 90% 희소성에서 ZeroFL은 비균형 데이터인 SpeechCommands에서 경쟁 기준 대비 +2.3% 높은 테스트 정확도를 달성하여 뚜렷한 성능 향상을 보였다.
• 95% 희소성에서 ZeroFL은 동일한 데이터셋에서 기준 대비 +1.5% 높은 정확도를 확보하여 극한의 희소성에 대한 강건성을 입증했다.
• CIFAR-10에서 ZeroFL은 마스크 비율 0.2일 때 95% 희소성에서 업링크 통신을 3.0× 감소시키며, 기준 대비 더 높은 정확도를 유지했다.
• 모든 데이터셋과 희소성 수준에서 마스크 비율 0.2인 상위-K-가중치 희소화 방법이 가장 우수한 성능을 보였다.
• 마스크 비율에 따라 통신 절감 효과가 비례한다: 0.0일 때 7.5× 감소, 0.1일 때 3.0× 감소, 0.2일 때 1.9× 감소 (95% 희소성 기준).
• 연구 결과, 대부분의 훈련 라운드 동안 글로벌 모델의 0 위치가 안정적으로 유지되어 일관된 희소 패턴과 효율적인 훈련을 가능하게 했다.