[논문 리뷰] Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version)

Shuai Wang, Yuncong Hong외 4명|arXiv (Cornell University)|2021. 01. 28.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 8

한 줄 요약

이 논문은 아날로그 빔포밍을 통해 복잡한 밴드처리를 피하고 저지연 모델 집합을 가능하게 하는 엣지 페더레이티드 러닝을 위한 유니트 모듈러스 오버더어웨이 커퍼튜레이션(UM-AirComp) 프레임워크를 제안한다. 새로 개발된 최적화 알고리즘 PAM과 AGP를 통해 더 낮은 훈련 손실과 더 빠른 수렴을 달성하며, 자율주행 시뮬레이션에서 모델 정확도가 매개변수 오차에 매우 민감한 상황에서 검증되었다.

ABSTRACT

Edge federated learning (FL) is an emerging machine learning paradigm that trains a global parametric model from distributed datasets via wireless communications. This paper proposes a unit-modulus over-the-air computation (UM-AirComp) framework to facilitate efficient edge federated learning, which simultaneously uploads local model parameters and updates global model parameters via analog beamforming. The proposed framework avoids sophisticated baseband signal processing, leading to low communication delays and implementation costs. A training loss bound of UM-AirComp is derived and two low-complexity algorithms, termed penalty alternating minimization (PAM) and accelerated gradient projection (AGP), are proposed to minimize the nonconvex nonsmooth loss bound. Simulation results show that the proposed UM-AirComp framework with PAM algorithm not only achieves a smaller mean square error of model parameters' estimation, training loss, and testing error, but also requires a significantly shorter runtime than that of other benchmark schemes. Moreover, the proposed UM-AirComp framework with AGP algorithm achieves satisfactory performance while reduces the computational complexity by orders of magnitude compared with existing optimization algorithms. Finally, we demonstrate the implementation of UM-AirComp in a vehicle-to-everything autonomous driving simulation platform. It is found that autonomous driving tasks are more sensitive to model parameter errors than other tasks since the former neural networks are more sophisticated containing sparser model parameters.

연구 동기 및 목표

• 복잡한 밴드처리로 인한 높은 통신 지연과 구현 비용 문제를 해결하기 위해.
• 오버더어웨이 커퍼튜레이션을 통해 무선 채널을 통한 국소 모델 매개변수의 효율적 집합을 가능하게 하기 위해.
• UM-AirComp 프레임워크에서 비볼록, 비연속 훈련 손실을 최소화하는 저복잡도 최적화 알고리즘을 설계하기 위해.
• 특히 자율주행과 같은 고정밀 응용 분야에서 실세계 조건 하에서 제안된 프레임워크의 강인성을 평가하기 위해.
• 차량 간 통신(V2X) 자율주행 시뮬레이션 플랫폼에서 UM-AirComp의 실현 가능성과 성능을 입증하기 위해.

제안 방법

• 아날로그 빔포밍을 통해 국소 모델 매개변수와 글로벌 모델 업데이트를 동시에 전송할 수 있는 유니트 모듈러스 오버더어웨이 커퍼튜레이션(UM-AirComp) 프레임워크를 도입한다.
• 일정 앙도 전송을 유지하기 위해 유니트 모듈러스 신호를 활용하여 하드웨어 복잡도를 감소시키고 에너지 효율적인 무선 집합을 가능하게 한다.
• 최적화를 안내하고 수렴을 보장하기 위해 UM-AirComp 프레임워크의 이론적 훈련 손실 한계를 유도한다.
• 비볼록, 비연속 최적화 문제를 해결하기 위해 향상된 수렴성과 추정 정확도를 확보한 펜alty 애ลม네이팅 미니마이제이션(PAM)을 제안한다.
• 계산 복잡도를 크게 감소시키면서도 높은 성능를 유지하기 위해 가속화된 기울기 투영(AGP)을 도입한다.
• 모델 매개변수 오차에 대한 민감도를 평가하기 위해 실제 차량 간 통신(V2X) 자율주행 시뮬레이션 플랫폼에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 UM-AirComp는 기존의 FL 기법과 비교해 훈련 손실, 모델 추정 오차, 런타임 효율성 측면에서 어떻게 다른가?
• RQ2 제안된 PAM 알고리즘이 엣지 FL의 비볼록, 비연속 최적화에서 수렴성과 추정 정확도를 얼마나 향상시키는가?
• RQ3 AGP 알고리즘이 기존의 최적화 알고리즘과 비교해 계산 복잡도를 수십만 배 수준으로 감소시키면서도 동일한 성능를 달성할 수 있는가?
• RQ4 오버더어웨이 집합에서 모델 매개변수 추정 오차에 대해 자율주행 작업의 복잡한 신경망은 얼마나 민감한가?
• RQ5 실세계 V2X 자율주행 시뮬레이션 환경에서 UM-AirComp의 실현 가능성과 성능은 어떠한가?

주요 결과

• PAM를 사용한 UM-AirComp 프레임워크는 기준 기법들보다 모델 매개변수 추정의 평균 제곱오차가 더 작다.
• UM-AirComp 프레임워크 하에서 PAM 알고리즘을 사용할 경우 훈련 손실과 테스트 오차가 크게 감소한다.
• PAM 기반의 UM-AirComp 방법은 기존의 기준 방법들보다 런타임이 상당히 적게 소요된다.
• AGP 알고리즘은 기존의 최적화 알고리즘과 비교해 계산 복잡도를 수십만 배 수준으로 감소시키면서도 만족스러운 성능를 유지한다.
• 자율주행 작업은 그들의 신경망이 복잡하고 희박하기 때문에 모델 매개변수 추정 오차에 더 민감하다.
• UM-AirComp 프레임워크는 차량 간 통신(V2X) 자율주행 시뮬레이션 플랫폼에서 실현 가능하고 강인한 성능를 보여준다.