[논문 리뷰] Federated Learning via Over-the-Air Computation

Kai Yang, Tao Jiang외 2명|arXiv (Cornell University)|2018. 12. 31.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 50

한 줄 요약

이 논문은 무선 채널의 중첩을 활용하는 OTA(over-the-air) 계산을 사용한 페더레이티드 러닝의 빠른 모델 집계 방법을 제안하며, 새로운 DC 기반 희소 및 저랭크 최적화 프레임워크에 의해 공동 장치 선택 및 빔포밍이 안내된다.

ABSTRACT

The stringent requirements for low-latency and privacy of the emerging high-stake applications with intelligent devices such as drones and smart vehicles make the cloud computing inapplicable in these scenarios. Instead, edge machine learning becomes increasingly attractive for performing training and inference directly at network edges without sending data to a centralized data center. This stimulates a nascent field termed as federated learning for training a machine learning model on computation, storage, energy and bandwidth limited mobile devices in a distributed manner. To preserve data privacy and address the issues of unbalanced and non-IID data points across different devices, the federated averaging algorithm has been proposed for global model aggregation by computing the weighted average of locally updated model at each selected device. However, the limited communication bandwidth becomes the main bottleneck for aggregating the locally computed updates. We thus propose a novel over-the-air computation based approach for fast global model aggregation via exploring the superposition property of a wireless multiple-access channel. This is achieved by joint device selection and beamforming design, which is modeled as a sparse and low-rank optimization problem to support efficient algorithms design. To achieve this goal, we provide a difference-of-convex-functions (DC) representation for the sparse and low-rank function to enhance sparsity and accurately detect the fixed-rank constraint in the procedure of device selection. A DC algorithm is further developed to solve the resulting DC program with global convergence guarantees. The algorithmic advantages and admirable performance of the proposed methodologies are demonstrated through extensive numerical results.

연구 동기 및 목표

• 다수의 장치로부터 빠르고 동시적인 모델 업데이트를 가능하게 하여 FedAvg의 통신 효율성을 개선한다.
• 각 집계 라운드에 참여하는 장치의 수를 MSE 왜곡 제약 하에서 최대화한다.
• 수렴 보장을 갖는 결과 희소 및 저랭크 최적화 문제를 해결하기 위한 알고리즘 도구를 개발한다.
• 통합 DC 프로그래밍 접근을 통해 장치 선택 및 빔포밍의 비컨벡시티를 다룬다.

제안 방법

• 전역 집계를 OTA 전송을 통해 계산 가능한 노노그래픽 함수로 모델링한다.
• 행렬 리프팅을 이용해 장치 선택과 수신자 빔포밍을 희소 및 저랭크 최적화 문제로 정의한다.
• 희소성(l0 노름을 통한)과 랭크 제약(Tr(M)-||M||2를 통한)에 대한 차이-볼록 함수(DC) 표현을 도입한다.
• 주 primal/dual 문제의 연속적 볼록 완화를 통해 전역 수렴 보장을 갖는 DC 알고리즘을 개발한다.
• 먼저 장치 순위를 안내하기 위해 희소성을 유도하고, 그 다음 MSE 제약을 만족시키면서 랭크-원 리프팅을 강제하는 타당성 검사를 수행하는 두 단계 프레임워크를 제공한다.
• 기준선 대비 개선된 학습 성능(예: CIFAR-10에서의 SVM)과 더 빠른 수렴을 시범한다.

실험 결과

연구 질문

• RQ1 다수의 장치가 있는 무선 환경에서 OTA 계산을 통해 FedAvg 집계를 어떻게 가속화할 수 있는가?
• RQ2 모델 집계를 위한 특정 MSE 왜곡을 만족시키면서 동시에 선택할 수 있는 최대 장치 수는 얼마인가?
• RQ3 통합 DC 프레임워크가 장치 선택과 빔포밍 문제를 해결하기 위해 희소성을 효과적으로 유도하고 랭크 원 제약을 강제할 수 있는가?
• RQ4 제안된 방법이 표준 데이터세트에서 기존 방법보다 더 나은 학습 성능과 수렴 속도를 보여주는가?

주요 결과

• 제안된 AirComp 기반 접근은 채널 중첩을 활용한 동시 전송을 통해 빠른 전역 모델 집계를 가능하게 한다.
• MSE 제약 하에서 장치 선택과 빔포밍을 처리하기 위해 희소 및 저랭크 최적화 모델을 개발했다.
• l0-노름과 랭크 원 제약에 대한 새로운 DC 표현은 매개변수-비의 희소성 방법과 정확한 타당성 탐지를 이끈다.
• 전역 수렴 보장을 가진 DC 알고리즘이 시뮬레이션에서 최첨단 방법보다 우수하다.
• CIFAR-10에서의 SVM 학습 실험은 제안된 방법을 사용해 더 나은 예측 정확도와 더 빠른 수렴을 보인다.