[논문 리뷰] Broadband Analog Aggregation for Low-Latency Federated Edge Learning (Extended Version)

Guangxu Zhu, Yong Wang외 1명|arXiv (Cornell University)|2018. 12. 30.

Advanced MIMO Systems Optimization참고 문헌 34인용 수 38

한 줄 요약

이 논문은 다중 액세스 채널을 통해 웨이브폼 중첩을 이용해 모델 업데이트의 공기 중 집계를 가능하게 하는 저지연 다중 액세스 기법인 광대역 아날로그 집계(BAA)를 제안한다. BAA는 장치 수에 비례하여 거의 선형적으로 통신 지연을 감소시켜 기존의 OFDMA에 비해 뚜렷한 성능 향상을 이룬다. 동시에 신뢰성, 절단, 학습 효율성 간의 이론적 트레이드오프를 단일 셀 무작위 네트워크 환경에서 정량화한다.

ABSTRACT

The popularity of mobile devices results in the availability of enormous data and computational resources at the network edge. To leverage the data and resources, a new machine learning paradigm, called edge learning, has emerged where learning algorithms are deployed at the edge for providing fast and intelligent services to mobile users. While computing speeds are advancing rapidly, the communication latency is becoming the bottleneck of fast edge learning. To address this issue, this work is focused on designing a low latency multi-access scheme for edge learning. We consider a popular framework, federated edge learning (FEEL), where edge-server and on-device learning are synchronized to train a model without violating user-data privacy. It is proposed that model updates simultaneously transmitted by devices over broadband channels should be analog aggregated "over-the-air" by exploiting the superposition property of a multi-access channel. Thereby, "interference" is harnessed to provide fast implementation of the model aggregation. This results in dramatical latency reduction compared with the traditional orthogonal access (i.e., OFDMA). In this work, the performance of FEEL is characterized targeting a single-cell random network. First, due to power alignment between devices as required for aggregation, a fundamental tradeoff is shown to exist between the update-reliability and the expected update-truncation ratio. This motivates the design of an opportunistic scheduling scheme for FEEL that selects devices within a distance threshold. This scheme is shown using real datasets to yield satisfactory learning performance in the presence of high mobility. Second, both the multi-access latency of the proposed analog aggregation and the OFDMA scheme are analyzed. Their ratio, which quantifies the latency reduction of the former, is proved to scale almost linearly with device population.

연구 동기 및 목표

• 무선 채널을 통해 고차원 모델 업데이트가 발생시키는 연합 엣지 학습(FEEL)의 통신 병목 현상을 해결하기 위해.
• 엣지 서버에서 빠른 모델 업데이트 집계를 가능하게 하는 저지연 다중 액세스 기법을 설계하기 위해.
• 광대역 무선 환경에서 통신 및 학습 메트릭 간의 트레이드오프를 정량화하기 위해.
• 기존의 OFDMA와 비교하여 BAA의 지연 감소, 신뢰성, 학습 효율성 측면에서 성능을 평가하기 위해.
• 적대적 공격에 대한 내성 강화 및 범위 끝단 성능 향상을 위한 빔포밍 통합을 위한 확장 가능성 탐색하기 위해.

제안 방법

• 여러 엣지 장치들이 공유 광대역 채널을 통해 동시에 자신의 모델 업데이트를 전송하는 광대역 아날로그 집계(BAA)를 제안한다.
• 다중 액세스 채널의 웨이브폼 중첩 특성을 활용하여 엣지 서버에서 업데이트를 아날로그 방식으로 집계함으로써, OFDMA와 같은 정규화 액세스 방식을 피한다.
• 업데이트 신뢰성(SNR)과 업데이트 절단 비율 간 균형을 맞추기 위해 절단된 채널 역전 전력 제어를 적용한다.
• 장치 위치를 원형 셀 내에서 i.i.d. 균일 분포로 모델링하고, 엣지 서버까지의 거리 기반 스케줄링을 통해 신뢰성 향상을 도모한다.
• 조건부 기대값과 순서 통계를 이용하여 모든 포함 및 셀 내부 스케줄링 기법에 대한 수신 기대 SNR를 도출한다.
• fading 및 경로 손실 영향을 SNR 표현식에 모델링하기 위해 일반화된 Marcum Q-함수와 지수 적분 함수를 사용한다.

실험 결과

연구 질문

• RQ1 BAA는 연합 엣지 학습에서 기존의 OFDMA에 비해 통신 지연을 어떻게 감소시키는가?
• RQ2 BAA에서 업데이트 신뢰성(SNR), 업데이트 절단 비율, 학습 효율성 간의 트레이드오프는 어떻게 존재하는가?
• RQ3 셀 내부 스케줄링은 수신 SNR와 학습에 활용되는 데이터 비율 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 지연 감소의 스케일링 행동은 엣지 장치 수에 따라 어떻게 변화하는가?
• RQ5 BAA는 적대적 공격에 대한 내성 강화 및 셀 끝단 성능 향상을 위해 어떻게 확장될 수 있는가?

주요 결과

• BAA가 OFDMA 대비 지연 감소 비율은 엣지 장치 수에 비례하여 거의 선형적으로 증가하며, 대규모 구현 환경에서 뚜렷한 속도 향상을 보여준다.
• BAA는 절단된 채널 역전 전력 제어로 인해 수신 SNR로 측정되는 업데이트 신뢰성과 기대 업데이트 절단 비율 간의 트레이드오프를 유도한다.
• 셀 내부 스케줄링은 수신 SNR와 학습에 활용되는 데이터 비율 간의 트레이드오프를 초래하며, 이 비율은 셀 반경과 장치 분포에 따라 달라진다.
• 모든 포함 BAA의 기대 수신 SNR는 $\mathbb{E}(\rho_0) = \frac{2K}{2K - \alpha} \frac{P_0}{MR^\alpha \text{Ei}(g_{\text{th}})}$ 로 유도되며, $2K - \alpha - 1 \geq 0$ 일 때 수렴한다.
• 셀 내부 스케줄링의 경우 기대 SNR는 $k \geq 2$ 에 대해 $\frac{2k}{2k - \alpha}$ 의 가중 평균 $c(R_{\text{in}})$ 로 표현되며, $\alpha = 3$ 이고 $K$ 가 크면 $1 \leq c(R_{\text{in}}) \leq 4$ 가 된다.
• 신경망과 실제 데이터셋을 사용한 실험 결과 이론적 분석 결과를 확인하였으며, BAA가 실제 환경에서 성능 향상을 이룬다는 것을 검증하였다.