[논문 리뷰] On the Design of Communication Efficient Federated Learning over Wireless Networks.

Richeng Jin, Xiaofan He외 1명|arXiv (Cornell University)|2020. 04. 15.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 6

한 줄 요약

이 논문은 통신 과부하를 줄이기 위해 기울기의 부호만 전송하는 통신 효율적인 페더레이티드 러닝 프레임워크를 제안한다. 수신기 측의 채널 상태 정보(CSI)만을 활용하고 에너지, 장애 확률, 통신 라운드 수 간의 트레이드오프를 최적화함으로써 이질적인 데이터와 무선 환경 제약 조건 하에서도 견고한 성능을 달성하며, 시뮬레이션을 통해 효율성과 내구성을 입증한다.

ABSTRACT

Recently, federated learning (FL), as a promising distributed machine learning approach, has attracted lots of research efforts. In FL, the parameter server and the mobile devices share the training parameters over wireless links. As a result, reducing the communication overhead becomes one of the most critical challenges. Despite that there have been various communication-efficient machine learning algorithms in literature, few of the existing works consider their implementation over wireless networks. In this work, the idea of SignSGD is adopted and only the signs of the gradients are shared between the mobile devices and the parameter server. In addition, different from most of the existing works that consider Channel State Information (CSI) at both the transmitter side and the receiver side, only receiver side CSI is assumed. In such a case, an essential problem for the mobile devices is to select appropriate local processing and communication parameters. In particular, two tradeoffs are observed under a fixed total training time: (i) given the time for each communication round, the energy consumption versus the outage probability per communication round and (ii) given the energy consumption, the number of communication rounds versus the outage probability per communication round. Two optimization problems regarding the aforementioned two tradeoffs are formulated and solved. The first problem minimizes the energy consumption given the outage probability (and therefore the learning performance) requirement while the second problem optimizes the learning performance given the energy consumption requirement. Furthermore, the heterogeneous data distribution scenario is considered and a new algorithm that can deal with heterogeneous data distribution is proposed. Extensive simulations are performed to demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 무선 네트워크에서 페더레이티드 러닝의 높은 통신 과부하 문제를 해결한다.
• 무선 채널 제약 조건 하에서도 학습 성능을 유지하면서 에너지 소비를 최소화하는 시스템을 설계한다.
• 시간 제약 조건이 있는 학습 환경에서 통신 라운드 수, 에너지 사용량, 장애 확률 간의 트레이드오프를 최적화한다.
• 실제 환경에서 흔한 문제인 기기 간 데이터 분포의 이질성 문제를 다룬다.
• 시스템 복잡성을 줄이기 위해 오직 수신기 측 CSI만을 사용하는 실용적인 솔루션을 개발한다.

제안 방법

• 기울기의 부호만 전송함으로써 통신량을 극도로 줄이는 SignSGD 알고리즘을 채택한다.
• 오직 수신기 측 채널 상태 정보(CSI)만을 가정함으로써 시스템 모델을 단순화하고 피드백 과부하를 줄인다.
• 에너지 소비를 최소화하는 문제와 장애 확률 제약 조건 하에서의 문제, 에너지 예산 제약 조건 하에서 학습 성능을 최대화하는 문제의 두 가지 최적화 문제를 수립한다.
• 이질적인 데이터 분포에 특화된 새로운 알고리즘을 도입하여 비독립 동일 분포(non-IID) 환경에서 수렴성과 모델 정확도를 향상시킨다.
• 시간과 에너지 제약 조건을 활용하여 각 라운드의 통신 라운드 지속 시간, 에너지 사용량, 장애 확률 간의 트레이드오프를 모델링한다.
• 최적화 문제를 해결하여 이동 단말기의 최적의 로컬 처리 및 통신 파rameter를 도출한다.

실험 결과

연구 질문

• RQ1 제한된 피드백 조건 하에서 무선 네트워크에서 페더레이티드 러닝의 통신 효율성을 어떻게 극대화할 수 있는가?
• RQ2 고정된 학습 시간 조건 하에서 각 통신 라운드의 에너지 소비와 장애 확률 간의 최적 트레이드오프는 무엇인가?
• RQ3 에너지 제약 조건 하에서 통신 라운드 수와 장애 확률 간의 상호 관계는 어떻게 되는가?
• RQ4 오직 수신기 측 CSI만을 사용하는 통신 효율적인 FL 프레임워크는 이질적인 데이터 분포 조건 하에서도 성능을 유지할 수 있는가?
• RQ5 예를 들어 라운드 지속 시간, 전력 등의 파rameter 설정은 무엇이 되어야 에너지 소비를 최소화하면서 학습 성능(장애) 요구 조건을 충족할 수 있는가?

주요 결과

• 제안된 방법은 기울기 부호만 전송함으로써 통신 과부하를 크게 줄여 효율적인 무선 환경 구현을 가능하게 한다.
• 오직 수신기 측 CSI에 의존함으로써 피드백 복잡성을 감소시키면서도 견고한 성능을 유지한다.
• 최적화 프레임워크는 에너지 소비와 장애 확률을 성공적으로 균형 잡아 시간 및 에너지 제약 조건 하에서도 신뢰할 수 있는 학습을 보장한다.
• 새로운 알고리즘은 이질적인 데이터 분포를 효과적으로 처리하여 비독립 동일 분포 상황에서 수렴성과 정확도를 향상시킨다.
• 시뮬레이션 결과, 제안된 방법은 기존 기준 대비 낮은 에너지 소비와 감소된 장애 확률로 안정적인 학습 성능을 달성한다.
• 트레이드오프 분석 결과, 통신 라운드 지속 시간을 늘리면 에너지 효율성이 향상되지만 장애 위험이 증가하는 것으로 나타났으며, 이는 최적의 파rameter 튜닝을 통해 완화될 수 있다.