[논문 리뷰] Model Pruning Enables Efficient Federated Learning on Edge Devices

Yuang Jiang, Shiqiang Wang외 5명|arXiv (Cornell University)|2019. 09. 26.

Privacy-Preserving Technologies in Data인용 수 55

한 줄 요약

PruneFL은 적응형 분산 모델 가지치기를 연합학습에 통합하여 엣지 디바이스의 계산 및 통신을 줄이면서 원래 모델에 근접한 정확성을 유지합니다.

ABSTRACT

Federated learning (FL) allows model training from local data collected by edge/mobile devices while preserving data privacy, which has wide applicability to image and vision applications. A challenge is that client devices in FL usually have much more limited computation and communication resources compared to servers in a datacenter. To overcome this challenge, we propose PruneFL -- a novel FL approach with adaptive and distributed parameter pruning, which adapts the model size during FL to reduce both communication and computation overhead and minimize the overall training time, while maintaining a similar accuracy as the original model. PruneFL includes initial pruning at a selected client and further pruning as part of the FL process. The model size is adapted during this process, which includes maximizing the approximate empirical risk reduction divided by the time of one FL round. Our experiments with various datasets on edge devices (e.g., Raspberry Pi) show that: (i) we significantly reduce the training time compared to conventional FL and various other pruning-based methods; (ii) the pruned model with automatically determined size converges to an accuracy that is very similar to the original model, and it is also a lottery ticket of the original model.

연구 동기 및 목표

• 데이터 프라이버시와 통신 비용이 제한적인 자원 제약이 있는 엣지 디바이스에서 연합학습을 촉진한다.
• 계산 및 통신 오버헤드를 공동으로 줄이기 위한 가지치기 기반 FL 방법을 개발한다.
• FL 동안 모델 크기를 추적하고 조정하는 적응형 분산 가지치기를 가능하게 하여 학습 시간과 정확도를 최적화한다.
• 실제 엣지 디바이스에서 희소 행렬 PruneFL을 구현하고 여러 데이터셋에 대해 평가하여 실용성을 입증한다.

제안 방법

• 선정된 클라이언트에서의 초기 가지치기와 FL 중 추가 가지치기를 포함하는 두 단계 분산 가지치기 방식의 PruneFL을 도입한다.
• 단위 학습 시간당 근사 경험적 위험 감소를 최대화하여 보존할 매개변수를 업데이트하는 적응 가지치기를 사용한다.
• 위험 감소를 라운드 시간의 비율(감마 Gamma)을 최대화하도록 매개변수의 부분집합을 선택하는 가지치기로 공식화한다.
• 매개변수 중요도를 제곱 그래디언트 g_j^2로 계산하고 매개변수별 학습 시간 t_j를 추정하여 가지치기 의사결정을 지도한다.
• 가지치기된 모델에 대해 저장소, 메모리, 통신 오버헤드를 줄이기 위해 희소 행렬 표현을 구현한다.
• 표준 FL 가정하에 수렴 분석을 제공하고 클라이언트 수에 따른 선형 스피드업을 보여준다.

실험 결과

연구 질문

• RQ1 적응형 분산 가지치기가 정확도를 희생하지 않으면서 FL에서 통신 및 계산 비용을 모두 줄일 수 있는가?
• RQ2 FL 중에 학습 속도와 최종 성능의 균형을 최적으로 맞추기 위해 모델 크기는 어떻게 조정해야 하는가?
• RQ3 이종 데이터와 장치를 가진 이후의 연합 학습에 대한 초기 가지치기의 영향은 무엇인가?
• RQ4 가지치기가 엣지 디바이스에서 원래 모델에 근접한 성능을 유지하는 로또티켓(lottery-ticket)과 같은 서브네트워크를 만들어내는가?
• RQ5 실제 엣지 하드웨어에 PruneFL를 배치하기 위한 실용적인 구현 고려사항은 무엇인가?

주요 결과

• PruneFL은 기존의 FL 및 다른 가지치기 기반 방법에 비해 학습 시간을 크게 줄인다.
• 자동으로 결정된 크기를 갖는 가지치기된 모델은 원래 모델과 매우 유사한 정확도에 수렴하고 원래 모델의 로또 티켓을 형성한다.
• 적응 가지치기를 통한 두 단계 분산 가지치기는 단일 클라이언트 가지치기보다 데이터와 장치 이질성을 더 효과적으로 해결한다.
• 적응 가지치기는 그래디언트 기반 중요도 측정과 시간 추정을 사용하여 보관, 가지치기 또는 되돌려 추가할 매개변수를 선택한다.
• 엣지 디바이스에의 구현은 가지치기된 모델의 합성곱(convolutional) 및 전결합(fully-connected) 계층에 대한 희소 행렬 계산의 가능성을 보여준다.