[논문 리뷰] Adaptive Dynamic Pruning for Non-IID Federated Learning.

Sixing Yu, Phuong Nguyen외 2명|arXiv (Cornell University)|2021. 06. 13.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 12

한 줄 요약

이 논문은 엣지 디바이스에서 비독립 동일 분포(Non-IID) 피어드 페더레이티드 러닝을 위한 적응형, 데이터셋 인식 동적 프루닝 방법을 제안한다. 이는 모델 정확도를 유지하면서도 인퍼런스 속도를 2배로 높이고 FLOPs를 50% 감소시킨다. 이 방법은 각 디바이스의 로컬 데이터 분포에 맞게 프루닝 정책을 맞춤화함으로써 자원 제약 조건 하에서 효율적이고 프라이버시를 보존하는 DNN 인퍼런스를 가능하게 한다.

ABSTRACT

Federated Learning~(FL) has emerged as a new paradigm of training machine learning models without sacrificing data security and privacy. Learning models at edge devices such as cell phones is one of the most common use case of FL. However, the limited computing power and energy constraints of edge devices hinder the adoption of FL for both model training and deployment, especially for the resource-hungry Deep Neural Networks~(DNNs). To this end, many model compression methods have been proposed and network pruning is among the most well-known. However, a pruning policy for a given model is highly dataset-dependent, which is not suitable for non-Independent and Identically Distributed~(Non-IID) FL edge devices. In this paper, we present an adaptive pruning scheme for edge devices in an FL system, which applies dataset-aware dynamic pruning for inference acceleration on Non-IID datasets. Our evaluation shows that the proposed method accelerates inference by $2 imes$~($50\%$ FLOPs reduction) while maintaining the model's quality on edge devices.

연구 동기 및 목표

• 제한된 컴퓨팅 파wer와 에너지원을 가진 엣지 디바이스에 자원을 많이 소비하는 딥 네트워크(DNN)를 구현하는 데 도전 과제를 해결한다.
• 페더레이티드 러닝에서 비독립 동일 분포 데이터 분포 하에서 실패하는 정적, 데이터셋 무관 프루닝 정책의 한계를 극복한다.
• 로컬 데이터 특성에 맞게 프루닝 전략을 적응시킴으로써 엣지 디바이스에서 효율적이고 정확한 인퍼런스를 가능하게 한다.
• 비독립 동일 분포 피어드 페더레이티드 러닝 환경에서 계산 비용을 크게 줄이면서도 모델 성능을 유지한다.

제안 방법

• 각 엣지 디바이스의 로컬 데이터 분포에 따라 프루닝 정책을 조정하는 동적 프루닝 기법을 도입한다.
• 로컬 데이터 통계 분석을 통해 최적의 희박성 수준을 각 레이어별로 결정함으로써 데이터셋 인식 프루닝을 구현한다.
• 학습이 아닌 인퍼런스 기간에 적응형 프루닝을 적용함으로써 모델 수렴에 미치는 영향을 최소화한다.
• 로컬 성능과 데이터 왜곡 정도에 기반해 프루닝 결정을 개선하기 위한 피드백 메커니즘을 활용한다.
• 재학습 없이도 FLOPs를 감소시킬 수 있도록 모델 압축 기법을 활용하며, 주로 인퍼런스 효율성에 초점을 맞춘다.
• 로컬 데이터 중요도에 기반해 핵심 네트워크 파rameter를 유지함으로써 모델 정확도를 보존한다.

실험 결과

연구 질문

• RQ1 페더럴 러닝에서 엣지 디바이스 간 비독립 동일 분포 데이터 분포에 맞게 프루닝 정책을 어떻게 적응시킬 수 있는가?
• RQ2 동적, 데이터셋 인식 프루닝은 모델 정확도를 떨어뜨리지 않고 얼마나 인퍼런스 속도를 높일 수 있는가?
• RQ3 적응형 프루닝은 비독립 동일 분포 피어드 페더레이티드 러닝 환경에서 FLOPs를 50% 감소시키면서도 성능을 유지할 수 있는가?
• RQ4 데이터 왜곡 상황에서 정적 프루닝과 비교해 제안된 방법은 인퍼런스 속도와 정확도 측면에서 어떻게 다른가?

주요 결과

• 제안된 적응형 프루닝 방법은 FLOPs를 50% 감소시킴으로써 엣지 디바이스에서 인퍼런스 속도를 2배로 높였다.
• 모델 정확도는 테스트한 모든 비독립 동일 분포 데이터 분포에서 유지되어 데이터 왜곡에 대한 강건성을 입증했다.
• 로컬 데이터 특성을 고려하지 않는 정적 프루닝 전략보다 성능이 뛰어나다.
• 로컬 데이터에 대한 동적 적응 덕분에 고도의 데이터 비독립 동일 분포 상황에서도 일관된 성능 향상을 달성할 수 있었다.
• 각 디바이스에서 재학습이나 파인튜닝 없이도 높은 인퍼런스 효율성을 유지할 수 있었다.