[논문 리뷰] Accelerating DNN Training in Wireless Federated Edge Learning Systems

Jinke Ren, Guanding Yu외 1명|arXiv (Cornell University)|2019. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 10

한 줄 요약

이 논문은 무선 피어드 엣지 학습(FEEL) 시스템에서 DNN 학습을 가속화하기 위해 병행 처리 크기 선택과 통신 자원 할당을 통합하는 프레임워크를 제안한다. 새로운 학습 효율성 지표를 도입하고 볼록 최적화 문제를 해결함으로써 저자들은 훈련 시간을 단축시키고 정확도를 향상시키는 폐쇄형 해를 유도한다. 성능은 CPU 및 GPU 환경에서의 광범위한 실험을 통해 검증되었다.

ABSTRACT

Training task in classical machine learning models, such as deep neural networks, is generally implemented at a remote cloud center for centralized learning, which is typically time-consuming and resource-hungry. It also incurs serious privacy issue and long communication latency since a large amount of data are transmitted to the centralized node. To overcome these shortcomings, we consider a newly-emerged framework, namely federated edge learning, to aggregate local learning updates at the network edge in lieu of users' raw data. Aiming at accelerating the training process, we first define a novel performance evaluation criterion, called learning efficiency. We then formulate a training acceleration optimization problem in the CPU scenario, where each user device is equipped with CPU. The closed-form expressions for joint batchsize selection and communication resource allocation are developed and some insightful results are highlighted. Further, we extend our learning framework to the GPU scenario. The optimal solution in this scenario is manifested to have the similar structure as that of the CPU scenario, recommending that our proposed algorithm is applicable in more general systems. Finally, extensive experiments validate the theoretical analysis and demonstrate that the proposed algorithm can reduce the training time and improve the learning accuracy simultaneously.

연구 동기 및 목표

• 무선 네트워크에서 중심화된 클라우드 기반 DNN 학습의 높은 통신 지연과 개인정보 위험을 해결하기 위해.
• 자원 제약 조건 하에서 시스템 수준의 성능를 최적화하여 피어드 엣지 학습(FEEL)에서 DNN 학습을 가속화하기 위해.
• 훈련 속도와 모델 정확도를 종합적으로 평가하기 위해 새로운 성능 지표인 학습 효율성 도입을 위해.
• CPU 및 GPU 기반 엣지 장치에서의 배치 크기 선택 및 업링크 시간/자원 할당을 위한 폐쇄형 해를 개발하기 위해.
• 이론적 프레임워크를 광범위한 시뮬레이션을 통해 검증하여 훈련 시간을 단축시키고 수렴 성능을 향상시키기 위해.

제안 방법

• 전역 손실 감소와 종단 간 지연을 균형 잡는 데 사용할 수 있는 새로운 학습 효율성 지표를 사용하여 훈련 가속화 최적화 문제를 수립한다.
• 카루시-쿠른-터커(Karush-Kuhn-Tucker, KKT) 조건을 활용하여 최적의 배치 크기 선택 및 업링크 시간 할당에 대한 폐쇄형 표현식을 유도한다.
• 장치 메모리, 통신 대역폭 및 총 훈련 시간에 대한 제약 조건을 모델링하여 실현 가능성을 확보한다.
• CPU 기반 해를 GPU 환경으로 확장하여 제안된 알고리즘의 구조적 유사성과 광범위한 적용 가능성을 입증한다.
• 볼록 최적화 기법을 사용하여 문제를 효율적으로 해결함으로써 동적인 무선 환경에서 실시간 구현이 가능하도록 한다.
• 훈련 시간과 정확도 측면에서 기준 전략과의 비교를 통해 시뮬레이션을 통해 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 FEEL 시스템에서 훈련 속도와 모델 정확도를 균형 잡기 위해 학습 효율성을 통합 지표로 정의할 수 있는 방법은 무엇인가?
• RQ2 CPU 기반 FEEL 시스템에서 훈련 시간을 최소화하기 위해 최적의 병행 처리 크기 및 통신 자원 할당을 공동으로 설정하는 방법은 무엇인가?
• RQ3 제안된 최적화 프레임워크는 GPU 가속 엣지 장치로 어떻게 일반화될 수 있는가?
• RQ4 동일한 자원 할당 조건과 무한 메모리 조건 하에서 최적의 학습 효율성에 대한 이론적 한계는 무엇인가?
• RQ5 시스템이 온라인 학습(병행 처리 크기=1) 또는 전체 배치 학습(병행 처리 크기=max) 모드에서 작동하는 조건는 무엇인가?

주요 결과

• 광범위한 시뮬레이션을 통해 검증된 결과, 제안된 알고리즘이 훈련 시간을 크게 단축시키면서도 학습 정확도를 향상시킨다.
• 최적의 병행 처리 크기 선택 정책이 폐쇄형으로 도출되었으며, 이는 장치별 계산 속도, 채널 이득 및 지연 제약 조건에 따라 달라진다.
• 최적의 업링크 시간 할당은 전체 프레임 시간 내에 모든 장치가 모델 집계에 기여하도록 보장하여 낭비되거나 과도하게 할당된 슬롯을 방지한다.
• CPU 및 GPU 환경 간의 해 구조는 일관되며, 이는 이질적인 엣지 장치 전반에 걸쳐 광범위한 적용 가능성을 시사한다.
• 최적의 학습 효율성에 대한 이론적 한계가 유도되었으며, 이는 최적 값이 자원 균형 할당 조건에서의 상한선과 무한 메모리 조건에서의 하한선 사이에 존재함을 보여준다.
• 분석 결과, 데이터 제약 영역(데이터 전송이 성능을 제한하는 영역)에서의 병행 처리 크기에서는 최적의 학습 효율성이 달성되지 않으며, 병행 처리 크기를 늘릴수록 지연 없이 손실 감소가 향상됨을 확인하였다.