[논문 리뷰] Federated Progressive Sparsification (Purge, Merge, Tune)+

Dimitris Stripelis, Umang Gupta외 2명|arXiv (Cornell University)|2022. 04. 26.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FedSparsify는 훈련 중에 낮은 크기의 가중치를 점진적으로 제거하는 단순하고 반복적인 분산 프루닝 방법으로, 다양한 분산 학습 환경에서 정확도를 유지하거나 향상시키면서 모델 크기를 15배 줄이고, 추론 속도를 4배 빠르게 하며, 통신 비용을 3배 감소시킨다.

ABSTRACT

To improve federated training of neural networks, we develop FedSparsify, a sparsification strategy based on progressive weight magnitude pruning. Our method has several benefits. First, since the size of the network becomes increasingly smaller, computation and communication costs during training are reduced. Second, the models are incrementally constrained to a smaller set of parameters, which facilitates alignment/merging of the local models and improved learning performance at high sparsification rates. Third, the final sparsified model is significantly smaller, which improves inference efficiency and optimizes operations latency during encrypted communication. We show experimentally that FedSparsify learns a subnetwork of both high sparsity and learning performance. Our sparse models can reach a tenth of the size of the original model with the same or better accuracy compared to existing pruning and nonpruning baselines.

연구 동기 및 목표

• 정확도를 훼손하지 않고 모델 크기와 통신 비용을 줄이는 실용적이고 반복적인 프루닝 전략을 개발하는 것.
• 제한된 계산 및 메모리 자원 환경에서 비대칭 데이터 분포를 가진 분산형, 비독립 동일 분포(Non-IID) 환경에서 극도로 희소한 신경망을 훈련하는 데 도전하는 것.
• 향후 분산 모델 희소화 분야의 연구를 위한 강력하고 단순한 기준 모델을 제공하는 것.
• 진행적 프루닝이 분산 환경에서 수렴성과 성능에 미치는 영향을 평가하는 것.
• 반복적 크기 기반 프루닝이 극도로 희소한 상태에서 일회성 프루닝 및 동적 프루닝 방법보다 우수한 성능을 보임을 입증하는 것.

제안 방법

• FedSparsify는 각 분산 훈련 라운드의 끝에서 반복적이고 크기 기반의 비정형 프루닝을 적용하여 가장 낮은 크기의 가중치를 제거한다.
• 이 방법은 프루닝, 모델 병합(서버에서 클라이언트 모델을 집계), 및 미세조정(로컬 데이터에서 재학습)을 점진적으로 번갈아 적용한다.
• 전역 모델 집계 전략을 사용하여 클라이언트 간 전역적으로 프루닝을 적용함으로써 네트워크 전반에 걸쳐 일관된 희소성 확보.
• 여러 번의 분산 라운드를 거쳐 점진적으로 희소성을 증가시키며, 미세조정을 통해 성능 유지.
• 목표 프루닝 비율을 통해 희소성을 제어하며, 모델을 원래 크기의 10% 이하로 줄인다.
• 표준 분산 평균화(FedAvg)를 사용해 모델 집계하고, 프루닝 후 성능 복구를 위해 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 분산 학습 환경에서 반복적이고 크기 기반의 프루닝이 정확도를 유지하면서도 높은 희소성(예: 99%)을 달성할 수 있는가?
• RQ2 통신 효율성과 추론 속도 측면에서 진행적 프루닝은 일회성 프루닝 또는 동적 프루닝보다 어떻게 비교되는가?
• RQ3 점진적 프루닝의 정규화 효과가 비독립 동일 분포(Non-IID) 분산 환경에서 일반화 성능을 향상시키는가?
• RQ4 FedSparsify는 FedAvg와 같은 비프루닝 기준 모델에 비해 모델 효율성과 통신 비용 측면에서 슈퍼어리어한가?
• RQ5 극도의 희소성 수준에서 전역 프루닝 전략과 국소 프루닝 전략의 성능에 어떤 영향을 미치는가?

주요 결과

• FedSparsify는 평균적으로 모델 크기를 15배 줄였으며, 99% 희소성 수준에서도 밀도 모델 대비 7~9%의 정확도 손실을 유지한다.
• 추론 처리량은 4배 향상되었으며, CNN과 VGG 모델의 경우 각각 4배와 8배의 속도 향상이 이루어졌다.
• 비프루닝 기준 모델 대비 통신 비용이 3배 감소했으며, 이는 라운드당 전송되는 파rameter 수가 줄었기 때문이다.
• 비독립 동일 분포(Non-IID) 데이터를 가진 100명의 클라이언트 환경에서 FedSparsify-Global은 FedSparsify-Local 및 FedAvg, FedProx와 같은 밀도 기반 기준 모델보다 우수한 성능을 보였다.
• 일회성 프루닝에 미세조정을 적용한 경우 99% 희소성 수준에서 일반화가 실패했지만, FedSparsify는 점진적 프루닝을 통해 성능을 유지했다.
• 진행적 프루닝의 정규화 효과는 특히 자료가 부족하고 비독립 동일 분포(Non-IID) 환경에서 모델 일반화 성능을 향상시킨다.