[논문 리뷰] Optimized Power Control Design for Over-the-Air Federated Edge Learning

Xiaowen Cao, Guangxu Zhu외 3명|arXiv (Cornell University)|2021. 06. 17.

Privacy-Preserving Technologies in Data참고 문헌 52인용 수 12

한 줄 요약

이 논문은 채널 fading과 잡음을 유발하는 요인들로 인해 발생하는 최적성 간격을 최소화함으로써 수렴 속도를 직접적으로 최대화하는, 공중에서의 피드포워드 에지 학습(Air-FEEL)을 위한 혁신적인 전력 제어 설계를 제안한다. 집합 오차를 모델링하고 라그랑주 이중성에 기반한 볼록 최적화를 통해, 고정 전력 또는 MSE 최소화 방법보다 더 빠른 수렴을 달성하며, 해는 정규화된 채널 역행으로 구조화되어 있다.

ABSTRACT

This paper investigates the transmission power control in over-the-air federated edge learning (Air-FEEL) system. Different from conventional power control designs (e.g., to minimize the individual mean squared error (MSE) of the over-the-air aggregation at each round), we consider a new power control design aiming at directly maximizing the convergence speed. Towards this end, we first analyze the convergence behavior of Air-FEEL (in terms of the optimality gap) subject to aggregation errors at different communication rounds. It is revealed that if the aggregation estimates are unbiased, then the training algorithm would converge exactly to the optimal point with mild conditions; while if they are biased, then the algorithm would converge with an error floor determined by the accumulated estimate bias over communication rounds. Next, building upon the convergence results, we optimize the power control to directly minimize the derived optimality gaps under both biased and unbiased aggregations, subject to a set of average and maximum power constraints at individual edge devices. We transform both problems into convex forms, and obtain their structured optimal solutions, both appearing in a form of regularized channel inversion, by using the Lagrangian duality method. Finally, numerical results show that the proposed power control policies achieve significantly faster convergence for Air-FEEL, as compared with benchmark policies with fixed power transmission or conventional MSE minimization.

연구 동기 및 목표

• 채널 페이딩과 잡음으로 인해 집합 오차가 발생하는 공중에서의 피드포워드 에지 학습(Air-FEEL)에서 통신 효율성과 학습 성능 사이의 상충 관계를 해결하기 위해.
• 개별 평균 제곱 오차(MSE)를 최소화하는 것에서 학습 과정의 수렴 속도를 직접적으로 최대화하는 설계 목표로의 전환을 위해.
• 평균 및 피크 전력 제약 조건 하에, 비편향 및 편향 집합 조건에서 최적성 간격을 최소화하는 전력 제어 정책을 개발하기 위해.
• 라그랑주 이중성을 사용하여 볼록 형식과 최적 해를 유도함으로써, 엣지 네트워크에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 논문은 수렴 행동을 최적성 간격 측면에서 모델링하며, 비편향 집합 조건에서는 온건한 조건 하에서 정확한 수렴이 이루어지고, 편향 집합 조건에서는 오차 바닥이 발생함을 보여준다.
• 두 가지 최적화 문제를 설정한다: 하나는 비편향 집합 제약 조건 하에 최적성 간격을 최소화하는 문제이고, 다른 하나는 이러한 제약 없이 동일한 평균 및 피크 전력 제약 조건 하에 최적화하는 문제이다.
• 라그랑주 이중성을 활용하여 문제들을 볼록 형식으로 변환하고, 최적의 이중 변수와 원래 변수 해를 유도한다.
• 최적의 전력 제어 정책은 정규화된 채널 역행으로 유도되며, 여기서 정규화 항은 채널 통계와 전력 제약 조건을 반영한다.
• 이중 문제를 하향 기울기 방법을 통해 풀며, 이중 함수의 하향 기울기를 사용하여 이중 변수를 갱신한다.
• 강한 이중성과 최적 해로의 수렴을 보장하며, 각 통신 라운드에서 전력 스케일링 계수에 대한 닫힌 형태의 표현식을 제공한다.

실험 결과

연구 질문

• RQ1 채널 페이딩과 잡음으로 인한 집합 오차는 최적성 간격 측면에서 Air-FEEL의 수렴에 어떻게 영향을 미치는가?
• RQ2 편향이 있는 대비 비편향 기반의 기울기 집합이 학습 알고리즘의 최종 수렴점에 미치는 영향은 무엇인가?
• RQ3 최적성 간격을 직접 최소화하는 전력 제어 정책이 기존의 MSE 최소화 또는 고정 전력 방식보다 뛰어난 성능을 보일 수 있는가?
• RQ4 평균 및 피크 전력 제약 조건 하에서 전력 제어 문제를 어떻게 볼록 최적화 문제로 설정하고 해결할 수 있는가?
• RQ5 다양한 집합 오차 모델 하에서 최적의 전력 제어 정책은 어떤 구조적 형태를 띄는가?

주요 결과

• 제안된 전력 제어 정책은 고정 전송 전력 또는 전통적인 MSE 최소화 기반 기준 대비 Air-FEEL에서 훨씬 더 빠른 수렴을 달성한다.
• 비편향 집합 조건 하에서는 조건이 온건할 경우 학습 알고리즘이 정확히 최적 해로 수렴하여 수렴 오차 바닥이 제거된다.
• 집합 추정치가 편향을 가질 경우, 알고리즘은 통신 라운드 동안 누적된 편향에 의해 결정되는 오차 바닥에 수렴한다.
• 최적의 전력 제어 정책은 정규화된 채널 역행으로 유도되며, 정규화 항은 채널 품질과 전력 제약 조건 간의 균형을 맞춘다.
• 해 구조는 강건하고 확장 가능하며, 채널 이득, 기울기 분산 및 이중 변수에 따라 의존하는 전력 스케일링 계수에 대한 닫힌 형태의 표현식이 있다.
• 수치 결과는 제안된 방법이 기존 방법보다 최적성 간격을 더 효과적으로 줄임을 확인하며, 특히 고 fading 및 고 잡음 환경에서 뚜렷한 성능 향상을 보인다.