[논문 리뷰] Sparse Random Networks for Communication-Efficient Federated Learning

Berivan Isik, Francesco Pase외 3명|arXiv (Cornell University)|2022. 09. 30.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 통신 효율적인 플랫폼 기반 연합 학습 프레임워크인 FedPM을 제안한다. FedPM은 무작위로 초기화된 밀집 신경망을 스파arsed(희소화)하기 위해 확률적 이진 마스크를 학습함으로써 모델 가중치를 전송할 필요 없이도 가능하게 한다. 협업적 마스크 학습을 통해 최적의 하위망을 학습함으로써 FedPM은 1 bpp 미만의 통신 비용을 달성하며, 수렴 속도가 빠르고 정확도가 높으며 모델 압축 효과까지 얻을 수 있다. 이는 저비트레이트 환경에서 MNIST, EMNIST, CIFAR-10, CIFAR-100에 대해 기존 기준보다 뛰어난 성능을 보인다.

ABSTRACT

One main challenge in federated learning is the large communication cost of exchanging weight updates from clients to the server at each round. While prior work has made great progress in compressing the weight updates through gradient compression methods, we propose a radically different approach that does not update the weights at all. Instead, our method freezes the weights at their initial \emph{random} values and learns how to sparsify the random network for the best performance. To this end, the clients collaborate in training a \emph{stochastic} binary mask to find the optimal sparse random network within the original one. At the end of the training, the final model is a sparse network with random weights -- or a subnetwork inside the dense random network. We show improvements in accuracy, communication (less than $1$ bit per parameter (bpp)), convergence speed, and final model size (less than $1$ bpp) over relevant baselines on MNIST, EMNIST, CIFAR-10, and CIFAR-100 datasets, in the low bitrate regime under various system configurations.

연구 동기 및 목표

• 저비트레이트 및 비IIDs 데이터 환경에서 발생하는 높은 통신 비용 문제를 해결하기 위해.
• 초기 무작위 가중치를 冻결(freeze)하고 오직 희소 이진 마스크만 학습함으로써 전체 모델 가중치 전송이 필요 없도록 하기 위해.
• 모델 가중치 전송 비용을 1 파라미터당 1 비트 이하로 줄이며 수렴 속도를 향상시키고 최종 정확도를 높이기 위해.
• 희소하고 저비트레이트 하위망을 통해 모델 압축과 잠재적 개인정보 보호 이점을 제공하기 위해.
• 부분적 클라이언트 참여와 데이터 이질성에 대응할 수 있는 강력한 확률적 집계 전략을 개발하기 위해.

제안 방법

• 클라이언트들이 무작위로 초기화된 밀집 신경망 위에서 네트워크 가중치를 업데이트하지 않고도 확률적 이진 마스크를 협업적으로 학습한다.
• 마스크는 베타 사전분포를 사용한 베이지안 확률적 프레임워크를 통해 학습되며, 라운드 간 불확실성 인식 집계를 가능하게 한다.
• 글로벌 마스크 파라미터는 이진 마스크에 비록 영향을 받더라도 기울기 흐름을 유지할 수 있도록 미분 가능하고 확률적 샘플링 과정을 통해 업데이트된다.
• 고정된 랜덤 네트워크에 마스크를 적용하여 희소 하위망을 구성하고, 각 라운드마다 성능을 평가한다.
• 재설정 빈도 초모델 하이퍼파rameter는 사전를 얼마나 자주 갱신할지 제어하여 안정성과 신규 클라이언트 업데이트에 대한 반응성 간 균형을 이룬다.
• 전송하는 것은 이진 마스크와 그 확률적 파라미터뿐이므로 통신 비용은 파라미터당 1 비트 이하로 감소한다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 밀집 네트워크에서 가중치 업데이트 없이 하위망을 학습시킬 수 있는가? 이를 통해 통신 비용을 극적으로 줄일 수 있는가?
• RQ2 확률적·스토캐스틱 마스크 학습 전략은 정적 또는 하드 임계값 기반 방법에 비해 정확도와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 적응형 사전 재설정 전략을 갖춘 베이지안 집계는 비IIDs 데이터 및 부분적 클라이언트 참여 조건에서 성능 향상에 기여하는가?
• RQ4 제안된 방법은 모델 정확도를 유지하거나 향상시키면서 통신 비트레이트를 어느 정도 줄일 수 있는가?
• RQ5 최종 모델은 1 bpp 이하로 압축 가능하며, 저비트레이트 연합 학습 환경에서 기준 모델보다 더 정확한가?

주요 결과

• FedPM은 파라미터당 1 비트 이하의 통신 비용을 달성하여 대역폭 요구량을 크게 줄였다.
• MNIST, EMNIST, CIFAR-10, CIFAR-100에서 기존 기준(FedMask 포함)보다 수렴 속도가 더 빠르고 테스트 정확도가 더 높았다.
• 비IIDs 환경에서 부분적 클라이언트 참여가 발생할 경우, 특히 데이터 이질성이 높을 때(예: c_max = 4) FedPM은 정적 기준보다 뛰어난 성능을 보였다.
• 적응형 사전 재설정(γ ≈ 1/ρ)을 적용한 베이지안 집계 전략은 고정 또는 과도하게 빈번한 재설정보다 더 나은 수렴과 정확도를 달성했다.
• 최종 모델은 1 bpp 이하 크기의 희소 하위망으로 구성되어 있어 모델 압축과 잠재적 개인정보 보호 이점이 가능하다.
• 제거 실험을 통해 스토캐스틱 마스크 학습 전략이 필수적임을 확인하였으며, 정적 또는 비확률적 변형은 수렴 실패 또는 성능 열등을 보였다.