[논문 리뷰] FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server

Hong Zhang, Ji Liu외 4명|arXiv (Cornell University)|2022. 04. 25.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 공유된 민감도가 낮은 서버 데이터를 사용하여 글로벌 모델을 동적으로 업데이트하고, 계층별 적응형 프루닝을 적용함으로써 훈련 효율성과 정확도를 향상시키는 새로운 피어드 학습 프레임워크인 FedDUAP을 제안한다. 비독립 동일 분포(Non-IID) 데이터 정도에 기반한 동적 서버 업데이트와 계층별로 적응하는 프루닝을 공동 최적화함으로써, 최신 기준(SOTA) 기반 모델 대비 최대 4.8% 높은 정확도, 2.8배 빠른 수렴 속도, 61.9% 낮은 계산 비용을 달성한다.

ABSTRACT

Despite achieving remarkable performance, Federated Learning (FL) suffers from two critical challenges, i.e., limited computational resources and low training efficiency. In this paper, we propose a novel FL framework, i.e., FedDUAP, with two original contributions, to exploit the insensitive data on the server and the decentralized data in edge devices to further improve the training efficiency. First, a dynamic server update algorithm is designed to exploit the insensitive data on the server, in order to dynamically determine the optimal steps of the server update for improving the convergence and accuracy of the global model. Second, a layer-adaptive model pruning method is developed to perform unique pruning operations adapted to the different dimensions and importance of multiple layers, to achieve a good balance between efficiency and effectiveness. By integrating the two original techniques together, our proposed FL model, FedDUAP, significantly outperforms baseline approaches in terms of accuracy (up to 4.8% higher), efficiency (up to 2.8 times faster), and computational cost (up to 61.9% smaller).

연구 동기 및 목표

• 비독립 동일 분포(Non-IID) 데이터와 제한된 기기 자원으로 인한 훈련 효율성 저하와 모델 정확도 제한 문제를 해결한다.
• 데이터 프라이버시를 침해하지 않으면서도 서버에 저장된 민감도가 낮은 데이터를 활용해 글로벌 모델의 수렴성과 정확도를 향상시킨다.
• 모델 정확도와 데이터 비독립 동일 분포(Non-IID) 정도에 따라 훈련 스텝을 적응적으로 조절하는 동적 서버 업데이트 메커니즘을 개발한다.
• 각 계층의 차원과 중요도에 맞게 프루닝 비율을 조정하는 계층별 적응형 프루닝 방법을 설계하여 효율성과 효과성의 균형을 이룬다.
• 동적 업데이트와 적응형 프루닝을 통합한 유일한 프레임워크를 구현하여 통신 비용과 계산 비용을 크게 줄이고 높은 정확도를 유지한다.

제안 방법

• 글로벌 모델의 정확도와 서버 데이터의 비독립 동일 분포(Non-IID) 정도에 기반해 중앙 집중식 훈련 스텝 수를 조절하는 동적 서버 업데이트 알고리즘인 FedDU를 제안한다.
• 서버 데이터와 기기 데이터 간의 데이터 분포 차이를 정량화하기 위해 비독립 동일 분포(Non-IID) 정도 지표를 도입하여 동적 업데이트 결정을 안내한다.
• 각 계층의 구조적 중요도와 차원에 따라 고유한 프루닝 비율을 계산하는 계층별 적응형 모델 프루닝 방법인 FedAP을 설계한다.
• 기울기 기반 중요도 점수를 사용해 각 계층에서 어떤 뉴런이나 필터를 프루닝할지 결정함으로써 정확도 손실를 최소화한다.
• FedDU와 FedAP을 통합하여 FedDUAP를 구성하며, 동적 업데이트를 통해 서버 데이터를 활용해 글로벌 모델을 정교화하고, 적응형 프루닝을 통해 통신 전에 모델 크기를 줄인다.
• 구조적 프루닝을 적용해 하드웨어 가속을 가능하게 하고 MFLOPs를 감소시키면서도 모델 성능을 유지한다.

실험 결과

연구 질문

• RQ1 공유된 민감도가 낮은 데이터를 활용한 동적 서버 업데이트는 피어드 학습에서 수렴 속도와 정확도를 향상시킬 수 있는가?
• RQ2 서버 데이터의 비독립 동일 분포(Non-IID) 정도는 피어드 환경에서 중앙 집중식 훈련의 효과성에 어떤 영향을 미치는가?
• RQ3 계층별 적응형 프루닝은 균일하거나 비정형 프루닝 대비 효율-정확도 트레이드오프를 더 잘 달성할 수 있는가?
• RQ4 동적 서버 업데이트와 적응형 프루닝의 조합은 피어드 학습에서 훈련 효율성, 정확도, 계산 비용에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 정확도, 속도, 자원 효율성 측면에서 최신 기준(SOTA) 피어드 학습 방법을 능가할 수 있는가?

주요 결과

• FedDUAP는 실제 세계 데이터셋에서 CNN 및 ResNet 모델에 대해 FedAvg 및 기타 최신 기준(SOTA) 기반 모델 대비 최대 4.8% 높은 정확도를 달성한다.
• FedDUAP는 FedAvg 대비 훈련 시간을 최대 2.8배 빠르게 하였으며, 데이터 공유 기반 모델 대비 15.0배 빠른 속도 향상을 기록한다.
• FedAvg 대비 계산 비용은 최대 61.9% 감소하였고, ResNet 모델의 경우 MFLOPs도 55.7% 감소하였다.
• FedAP는 CNN 모델 평균 프루닝 비율 37.8%와 VGG 모델 평균 프루닝 비율 72.0%를 달성하였으며, 프루닝되지 않은 FedAvg와 정확도 차이가 0.1% 이내로 유지되었다.
• VGG 모델의 경우 프루닝된 모델이 프루닝되지 않은 버전보다 정확도가 0.4% 높았고, 훈련 시간은 1.8배 빨라졌다.
• 동적 업데이트와 적응형 프루닝의 조합은 Hybrid-FL, IMC, PruneFL을 모두 능가하는 성능을 달성하였으며, 수렴 속도와 비독립 동일 분포(Non-IID) 데이터에 대한 강건성 측면에서도 모두에서 뛰어난 성능을 보였다.