[논문 리뷰] Low-Latency Broadband Analog Aggregation for Federated Edge Learning.

Guangxu Zhu, Yong Wang외 1명|arXiv (Cornell University)|2018. 12. 30.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 47

한 줄 요약

이 논문은 다중접속 채널의 초위상성을 활용하여 피드포워드 에지 학습에서 통신 지연을 줄이기 위해 애날로그 오버더에어 집계를 제안한다. 이로 인해 장치 수와 거의 선형적인 지연 감소 스케일링을 달성한다. 동시에 모델 업데이트 전송과 애날로그 집계를 가능하게 함으로써 기존의 OFDMA 방식을 능가하며, 특히 기회적 스케줄링이 가능한 고속 이동 환경에서 성능이 뛰어나다.

ABSTRACT

The popularity of mobile devices results in the availability of enormous data and computational resources at the network edge. To leverage the data and resources, a new machine learning paradigm, called edge learning, has emerged where learning algorithms are deployed at the edge for providing fast and intelligent services to mobile users. While computing speeds are advancing rapidly, the communication latency is becoming the bottleneck of fast edge learning. To address this issue, this work is focused on designing a low latency multi-access scheme for edge learning. We consider a popular framework, federated edge learning (FEEL), where edge-server and on-device learning are synchronized to train a model without violating user-data privacy. It is proposed that model updates simultaneously transmitted by devices over broadband channels should be analog aggregated over-the-air by exploiting the superposition property of a multi-access channel. Thereby, interference is harnessed to provide fast implementation of the model aggregation. This results in dramatical latency reduction compared with the traditional orthogonal access (i.e., OFDMA). In this work, the performance of FEEL is characterized targeting a single-cell random network. First, due to power alignment between devices as required for aggregation, a fundamental tradeoff is shown to exist between the update-reliability and the expected update-truncation ratio. This motivates the design of an opportunistic scheduling scheme for FEEL that selects devices within a distance threshold. This scheme is shown using real datasets to yield satisfactory learning performance in the presence of high mobility. Second, both the multi-access latency of the proposed analog aggregation and the OFDMA scheme are analyzed. Their ratio, which quantifies the latency reduction of the former, is proved to scale almost linearly with device population.

연구 동기 및 목표

• 계산 속도의 급격한 발전에도 불구하고 에지 학습에서 증가하는 통신 지연 장벽을 해결하기 위해.
• 피드포워드 에지 학습에서 정규화 다중접속(예: OFDMA)의 한계를 극복하기 위해 동시에 병렬 전송이 가능한 모델 업데이트 전송을 가능하게 하기 위해.
• 채널 초위상성을 활용하여 개인정보 보호를 해치지 않으면서도 애날로그 집계를 통한 저지연 다중접속 방식을 설계하기 위해.
• 장치 거리 기반의 기회적 스케줄링 방식을 개발하여 고속 이동 환경에서 업데이트 신뢰성과 절삭 비율 사이의 균형을 맞추기 위해.
• 단일 셀 랜덤 네트워크 환경에서 애날로그 집계와 OFDMA 간의 지연 감소를 특성화하고 정량화하기 위해.

제안 방법

• 다중접속 fading 채널의 초위상성 특성을 활용하여 다수의 장치가 동시에 전송하는 모델 업데이트의 애날로그 집계를 가능하게 한다.
• 에지 서버에서 중첩된 신호가 모델 업데이트의 의미 있는 집합에 해당하도록 장치 간 전력 정렬을 시행한다.
• 정해진 거리 임계값 이내의 장치를 선택하는 기회적 스케줄링 방식을 도입하여 업데이트 신뢰성과 절삭 비율 사이의 트레이드오프를 최적화한다.
• 제안된 애날로그 집계 및 전통적인 OFDMA 방식의 다중접속 지연을 분석하여 성능 향상을 정량화한다.
• 애날로그 집계와 OFDMA 간의 지연 감소 비율을 유도하여 장치 수에 따라 거의 선형적으로 증가함을 증명한다.
• 실세계 데이터셋을 사용하여 접근 방식을 검증하여 고속 이동 조건에서도 뛰어난 강인성을 입증한다.

실험 결과

연구 질문

• RQ1 채널 초위상성을 통한 애날로그 오버더에어 집계는 피드포워드 에지 학습에서 기존의 OFDMA와 비교해 통신 지연 측면에서 어떻게 다른가?
• RQ2 전력 정렬 제약 조건으로 인해 애날로그 집계에서 업데이트 신뢰성과 평균 업데이트 절삭 비율 사이에 존재하는 기본적인 트레이드오프는 무엇인가?
• RQ3 기회적 스케줄링은 고속 이동 에지 환경에서 학습 성능을 어떻게 향상시킬 수 있으며, 동시에 저지연을 유지할 수 있는가?
• RQ4 참여 장치 수에 비례해 애날로그 집계의 지연 감소가 어느 정도 스케일링되는가?
• RQ5 실제 단일 셀 네트워크 환경에서 장치 이동성은 애날로그 집계 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 애날로그 집계 방식은 장치 수가 증가함에 따라 OFDMA 대비 거의 선형적인 지연 감소 스케일링을 달성한다.
• 전력 정렬이 필요하기 때문에 애날로그 집계에서 업데이트 신뢰성과 기대 업데이트 절삭 비율 사이에 기본적인 트레이드오프가 존재함을 규명하였다.
• 거리 기반 임계값을 활용한 기회적 스케줄링 방식은 실세계 데이터셋을 통한 검증을 통해 고속 이동 조건에서도 만족스러운 학습 성능을 제공한다.
• 애날로그 집계와 OFDMA 간의 지연 감소 비율이 장치 수에 따라 거의 선형적으로 증가함을 증명하였다.
• 오버더에어 애날로그 집계의 사용은 정규화 접근 방식 대비 통신 지연을 크게 감소시켜 저지연 에지 학습 응용 분야에 적합하다.
• 사용자 데이터의 기밀성을 유지하면서도 장치 간 빠르고 동기화된 모델 집계를 가능하게 한다.