[논문 리뷰] Relay-Assisted Cooperative Federated Learning

Zehong Lin, Hang Liu외 1명|arXiv (Cornell University)|2021. 07. 20.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 과도한 무선 채널 품질에 의해 영향을 받는 모델 집합 오차를 줄이기 위해 반중계 방식의 증폭 및 전달 중계기를 사용하는 협업형 페더레이티드 러닝 기반의 리lay-보조 협업 페더레이티드 러닝 기법을 제안한다. 전이수신기 및 중계기 운영을 교대 최적화 알고리즘을 통해 최적화함으로써, 이 기법은 기존 최고 수준의 방법들보다 모델 집합 오차를 감소시키고 수렴 속도를 향상시키며, 특히 중계기 전력과 채널 이득이 충분히 높을 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Federated learning (FL) has recently emerged as a promising technology to enable artificial intelligence (AI) at the network edge, where distributed mobile devices collaboratively train a shared AI model under the coordination of an edge server. To significantly improve the communication efficiency of FL, over-the-air computation allows a large number of mobile devices to concurrently upload their local models by exploiting the superposition property of wireless multi-access channels. Due to wireless channel fading, the model aggregation error at the edge server is dominated by the weakest channel among all devices, causing severe straggler issues. In this paper, we propose a relay-assisted cooperative FL scheme to effectively address the straggler issue. In particular, we deploy multiple half-duplex relays to cooperatively assist the devices in uploading the local model updates to the edge server. The nature of the over-the-air computation poses system objectives and constraints that are distinct from those in traditional relay communication systems. Moreover, the strong coupling between the design variables renders the optimization of such a system challenging. To tackle the issue, we propose an alternating-optimization-based algorithm to optimize the transceiver and relay operation with low complexity. Then, we analyze the model aggregation error in a single-relay case and show that our relay-assisted scheme achieves a smaller error than the one without relays provided that the relay transmit power and the relay channel gains are sufficiently large. The analysis provides critical insights on relay deployment in the implementation of cooperative FL. Extensive numerical results show that our design achieves faster convergence compared with state-of-the-art schemes.

연구 동기 및 목표

• 약한 무선 채널이 모델 집합 오차를 지배하는 공중 페더레이티드 러닝에서 스트래글러 문제를 해결한다.
• 업링크 전송 신뢰성을 향상시켜 엣지 AI에서의 통신 효율성과 수렴 속도를 향상시키기 위해 리레이 협업을 활용한다.
• 기존 방법들이 스트래글러를 배제함으로써 훈련 데이터의 다양성이 감소하고 수렴 속도가 저하되는 한계를 극복한다.
• 리레이-보조 공중 페더레이티드 러닝 시스템에서 전이수신기 및 리레이 운영을 위한 저복잡도 최적화 프레임워크를 설계한다.
• 단일 리레이 시나리오에서의 모델 집합 오차에 대한 이론적 분석을 제공하여 실용적 리레이 배치를 안내한다.

제안 방법

• 모바일 디바이스가 엣지 서버로 로컬 모델 업데이트를 업로드하는 데 도움이 되는 다수의 반중계 방식의 증폭 및 전달 중계기를 도입한다.
• 모델 집합 오차를 최소화하기 위해 장치 프리코딩, 리레이 beamforming, 전력 할당을 동시에 최적화하는 문제를 수립한다.
• 저복잡도로 전이수신기 및 리레이 파rameter를 분리하고 반복적으로 최적화하기 위해 교대 최적화 기반 알고리즘을 제안한다.
• 특히 단일 리레이 시나리오에서 다양한 채널 이득 및 전력 조건 하에서 모델 집합 오차의 폐쇄형 표현식을 유도한다.
• 신호 대 잡음비(SNR) 임계값을 사용한 오차 성능 분석을 통해, 리레이 SNR 및 채널 이득이 충분히 클 경우 리레이 기반 시스템이 비리레이 시스템보다 우수한 성능을 보임을 보여준다.
• SNR 기반 부등식을 통한 오차 감소를 위한 충분조건을 수립하여 리레이 성능과 전체 시스템의 집합 정확도를 연결한다.

실험 결과

연구 질문

• RQ1 리레이 기반의 공중 페더레이티드 러닝은 리레이 없이 구현된 전통적 방법에 비해 모델 집합 오차를 줄일 수 있는가?
• RQ2 어떤 조건에서 리레이의 배치가 공중 페더레이티드 러닝 시스템에서 더 낮은 집합 오차를 초래하는가?
• RQ3 전이수신기 및 리레이 운영을 공동으로 최적화하여 낮은 계산 복잡도로 모델 집합 오차를 최소화할 수 있는가?
• RQ4 리레이 전송 전력과 리레이에서 AP로의 채널 이득은 협업형 페더레이티드 러닝 성능에 어떤 영향을 미치는가?
• RQ5 특히 스트래글러가 훈련에 포함된 경우, 제안된 기법이 최고 수준의 방법들보다 수렴 속도를 유지하거나 향상시키는가?

주요 결과

• 리레이 전송 전력과 리레이에서 AP로의 채널 이득이 충분히 클 경우, 리레이 기반 기법이 비리레이 기반 기법보다 더 낮은 모델 집합 오차를 달성한다.
• 제안된 교대 최적화 알고리즘이 낮은 계산 복잡도로 유지하면서도 집합 오차 최소화 성능을 효과적으로 향상시킨다.
• 이론적 분석 결과, 모델 집합 오차는 장치 채널 이득, 리레이 전력, 잡음의 함수로 경계됨을 보이며, 성능 향상을 위한 명시적 SNR 임계값이 존재함을 밝혀냈다.
• 오차 감소를 위한 충분조건으로 다음을 도출했다: SNR_{relay-AP} ≥ (K·min_SN R_k + δ) · min{1, 2ᾱ² / (1 - 2ᾱ²δ)}, 여기서 δ = min|h_k|² / min|g_k|².
• 광범위한 수치 결과를 통해 제안된 기법이 최고 수준의 방법들보다 더 빠른 수렴을 보임을 확인했으며, 특히 고 fading 또는 고 스트래글러 상황에서 뚜렷한 성능 향상을 보였다.
• 분석 결과, 최적의 리레이 배치는 장치 채널 품질과 리레이 링크 신뢰성 간의 균형을 맞추는 것이며, 유리한 리레이 채널 조건에서 성능 향상이 더욱 두드러진다.