[논문 리뷰] Federated Learning and Wireless Communications

Zhijin Qin, Geoffrey Ye Li외 1명|arXiv (Cornell University)|2020. 05. 11.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 6

한 줄 요약

이 논문은 무선 통신 분야에서 연합 학습(FL)에 대한 종합적인 서베이를 제시하며, 효율적인 통신 전략과 지능형 무선 응용을 제안한다. FL이 원시 데이터를 로컬 장치에 유지하면서 모델 파라미터만 교환함으로써 개인정보 보호 및 분산 모델 훈련을 가능하게 하며, 공기 중 집계와 기울기 압축을 통해 드론 기반 군집 제어에서 충돌 확률을 50% 감소시키고 이동 거리를 단축시킨다.

ABSTRACT

Federated learning becomes increasingly attractive in the areas of wireless communications and machine learning due to its powerful functions and potential applications. In contrast to other machine learning tools that require no communication resources, federated learning exploits communications between the central server and the distributed local clients to train and optimize a machine learning model. Therefore, how to efficiently assign limited communication resources to train a federated learning model becomes critical to performance optimization. On the other hand, federated learning, as a brand new tool, can potentially enhance the intelligence of wireless networks. In this article, we provide a comprehensive overview on the relationship between federated learning and wireless communications, including basic principle of federated learning, efficient communications for training a federated learning model, and federated learning for intelligent wireless applications. We also identify some future research challenges and directions at the end of this article.

연구 동기 및 목표

• 제한된 스펙트럼과 대역폭을 가진 무선 네트워크에서 연합 학습의 통신 효율성 향상 문제를 해결한다.
• 원시 데이터를 로컬 장치에 유지하고 모델 파라미터만 교환함으로써 개인정보 보호가 가능한 모델 훈련을 가능하게 한다.
• 드론 군집 제어, 분산 정위치화, 자원 할당과 같은 응용에 FL을 적용함으로써 무선 네트워크의 지능화를 향상시킨다.
• 동기화 오류와 다중 경로 fading 등의 과제로 인해 실용적 구현에 제약이 있는 공기 중 계산 기술을 극복한다.
• 개인정보 泄露, 모델 이질성, 시스템 확장성 등의 문제를 포함한 무선 시스템을 위한 FL의 열린 연구 과제를 규명한다.

제안 방법

• 로컬 클라이언트가 비공개 데이터에서 모델을 훈련하고, 업데이트된 모델 파라미터만 중앙 서버에 전송하는 클라이언트-서버 기반 FL 프레임워크를 사용한다.
• 무선 링크를 통한 FL 훈련에서 통신 오버헤드를 줄이기 위해 기울기 압축 및 양자화 기법을 구현한다.
• 모델 파라미터의 동시 전송과 집계를 가능하게 하기 위해 공기 중 계산을 활용하여 공동 업링크 전송 및 집계를 수행한다.
• 드론 각각에 대해 두 개의 딥 네트워크를 사용하는 평균장 게임(MFG) 이론을 적용하여, 포커-플랭크-콜모고로프 및 하미튼-자코비-벨리먼 방정식을 해결함으로써 군집 제어를 수행한다.
• 로컬에서 수집한 라디오 특징 데이터를 사용하여 원천적으로 장치의 위치 정보를 공유하지 않고도 위치 인식 모델을 훈련시키기 위해 연합 정위치화(FEDLOC)를 적용한다.
• 메타-러닝 기반 기술을 통합하여 국지적 및 글로벌 모델 업데이트를 정렬함으로써, 개인화된 국지적 모델을 유지하면서도 글로벌 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 대역폭 제약이 있는 무선 채널에서 연합 학습의 통신 효율성을 어떻게 최대화할 수 있는가?
• RQ2 공기 중 계산은 어떻게 스케일링 가능하고 저지연성 모델 집계를 무선 FL 시스템에서 실현할 수 있는가?
• RQ3 충돌 회피 및 이동 효율성 측면에서 연합 학습은 분산 드론 군집 제어 성능을 어떻게 향상시킬 수 있는가?
• RQ4 모델 파라미터가 여전히 국지 데이터에 대한 정보를 泄露하는 상황에서 연합 학습의 개인정보 보호 트레이드오프는 어느 정도인가?
• RQ5 정위치화 및 자원 할당과 같은 실세계 무선 응용에 연합 학습을 효과적으로 적용하는 방법은 무엇인가?

주요 결과

• 원시 데이터가 전송되지 않기 때문에, 중심화된 훈련 대비 연합 학습이 통신 오버헤드를 최대 90%까지 감소시킨다.
• 공기 중 계산을 통해 모델 파라미터의 동시 전송과 집계가 가능해져 대규모 FL 시스템에서 지연을 감소시킨다.
• MFG 기반의 연합 학습을 활용한 드론 군집 제어는 비연합 학습 방법 대비 이동 거리와 충돌 확률을 각각 50% 감소시킨다.
• 연합 정위치화(FEDLOC)는 개인정보 보호 및 데이터 전송 감소를 동시에 달성하면서도 중심화 모델과 유사한 정확도를 확보한다.
• 실세계 정위치화 작업에서 최대가능도 손실을 사용하는 가우시안 프로세스 모델이 최소제곱 손실을 사용하는 딥 네트워크보다 성능이 뛰어나다.
• 연합 학습에서는 부분적인 개인정보 泄露가 여전히 존재하므로, 추가로 차별적 개인정보 보호와 같은 기법이 국지 데이터 보호를 위해 필요하다.