[논문 리뷰] Wireless Communications for Collaborative Federated Learning

Mingzhe Chen, H. Vincent Poor외 2명|arXiv (Cornell University)|2020. 06. 03.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 9

한 줄 요약

이 논문은 중앙 제어자에 의존하지 않고 직접 기기 간 통신을 통해 공유된 머신러닝 모델을 훈련시킬 수 있는 새로운 무선 피드포워드 러닝(FL) 프레임워크인 협업형 피드포워드 러닝(Collaborative Federated Learning, CFL)을 제안한다. 이는 기기 스케줄링, 네트워크 형성, 이동성 관리, 코딩과 같은 탈중앙화된 통신 기법을 활용한다. 주요 기여는 대규모 IoT 시스템에서 통신 오버헤드를 줄이고 프라이버시 및 신뢰성을 향상시키는 프레임워크로, 4비트 모델 파라미터당 양자화 기반 코딩을 통해 거의 최적의 정확도를 달성한다.

ABSTRACT

Internet of Things (IoT) services will use machine learning tools to efficiently analyze various types of data collected by IoT devices for inference, autonomy, and control purposes. However, due to resource constraints and privacy challenges, edge IoT devices may not be able to transmit their collected data to a central controller for training machine learning models. To overcome this challenge, federated learning (FL) has been proposed as a means for enabling edge devices to train a shared machine learning model without data exchanges thus reducing communication overhead and preserving data privacy. However, Google's seminal FL algorithm requires all devices to be directly connected with a central controller, which significantly limits its application scenarios. In this context, this paper introduces a novel FL framework, called collaborative FL (CFL), which enables edge devices to implement FL with less reliance on a central controller. The fundamentals of this framework are developed and then, a number of communication techniques are proposed so as to improve the performance of CFL. To this end, an overview of centralized learning, Google's seminal FL, and CFL is first presented. For each type of learning, the basic architecture as well as its advantages, drawbacks, and usage conditions are introduced. Then, three CFL performance metrics are presented and a suite of communication techniques ranging from network formation, device scheduling, mobility management, and coding is introduced to optimize the performance of CFL. For each technique, future research opportunities are also discussed. In a nutshell, this article will showcase how the proposed CFL framework can be effectively implemented at the edge of large-scale wireless systems such as the Internet of Things.

연구 동기 및 목표

• 모든 기기가 중앙 제어자에 직접 연결되어야 하는 전통적 피드포워드 러닝(FL)의 한계를 해결하기 위해, 대규모 또는 동적인 IoT 환경에서는 이것이 실현 가능하지 않다.
• 원시 데이터를 교환하지 않고도 엣지 기기들이 공유된 머신러닝 모델을 훈련시킬 수 있도록 하여, IoT 환경에서의 프라이버시 및 자원 제약을 해결한다.
• 중앙 제어 최소화로도 기기 간 협업형 모델 훈련이 가능한 새로운 FL 프레임워크인 협업형 피드포워드 러닝(Collaborative FL, CFL)을 개발한다.
• 기기 스케줄링, 네트워크 형성, 이동성 관리, 코딩과 같은 무선 통신 기법을 활용해 CFL 성능을 최적화하여 신뢰성 향상과 지연 감소를 달성한다.
• 이질적 소스 코딩과 스트래글러(지연 기기) 완화 기법을 데이터 공유 없이 설계하는 것은 실제 IoT 시스템에서의 확장성과 효율성 있는 구현에 필수적인 열린 연구 과제이다.

제안 방법

• 기기 간 직접 통신을 통해 공유 모델을 협업적으로 훈련시키는 새로운 FL 프레임워크인 협업형 피드포워드 러닝(Collaborative FL, CFL)을 제안하며, 중앙 제어자 의존도를 감소시킨다.
• CFL의 성능 평가를 위해 수렴 속도, 통신 효율성, 모델 정확도의 세 가지 핵심 성능 지표를 도입한다.
• 모델 집계를 위한 최적의 기기 집합을 선별하기 위해 기기 스케줄링을 적용하여 지연을 최소화하고 훈련 효율성을 향상시킨다.
• 기기 간 동적 통신 클러스터를 형성하기 위해 네트워크 형성 기법을 활용하여 국소적 모델 교환을 가능하게 하고 백홀 부하를 감소시킨다.
• 이동성 있는 IoT 환경에서 안정적인 통신 링크를 유지하기 위해 이동성 관리 기법을 적용하여 일관된 모델 동기화를 보장한다.
• 소스 코딩(예: 양자화 기반 압축), 채널 코딩, 기울기 코딩을 적용하여 전송 오버헤드를 줄이고 노이즈가 많은 무선 채널에서도 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 및 동적인 IoT 네트워크에서 중앙 제어자에 대한 의존도를 줄이기 위해 피드포워드 러닝을 어떻게 재설계할 수 있는가?
• RQ2 협업형 피드포워드 러닝의 수렴성, 신뢰성, 효율성을 향상시키기 위해 어떤 무선 통신 기법을 활용할 수 있는가?
• RQ3 다양한 IoT 기기 환경에서 에너지 소비와 모델 왜곡을 최소화하기 위해 이질적(비균일) 비트레이트 소스 코딩을 어떻게 설계할 수 있는가?
• RQ4 데이터 공유 없이도 스트래글러의 영향을 완화할 수 있는 기울기 코딩 전략은 무엇인가?
• RQ5 무선 CFL 시스템에서 소스 코딩, 채널 코딩, 기울기 코딩의 다양한 코딩 방식은 모델 정확도와 전송 지연에 어떤 영향을 미치는가?

주요 결과

• 4비트 모델 파라미터당 양자화 기반 CFL 알고리즘은 정밀도가 높은 FL과 거의 동일한 모델 정확도를 달성하며, 전송 지연을 크게 감소시킨다.
• 4비트 양자화를 적용한 CFL 알고리즘은 2비트 버전보다 성능이 뛰어나며, 더 높은 비트 해상도가 왜곡을 줄이고 학습 성능을 향상시킨다는 것을 입증한다.
• 소스 코딩, 채널 코딩, 기울기 코딩이 함께 적용될 경우 통신 오버헤드 감소, 오류 내성 향상, 모델 열화 최소화를 통해 CFL 성능이 향상된다.
• 채널 상태에 따라 기기별로 다른 비트레이트를 사용하는 이질적 소스 코딩은 에너지 소비를 줄이고 전체 시스템의 손실 함수 성능을 향상시킬 수 있다.
• 데이터 공유 없이도 스트래글러 영향을 완화할 수 있는 기울기 코딩 전략은 자원 제약이 심하고 동적인 IoT 환경에서의 강력한 훈련을 가능하게 하며 필수적이다.
• 제안된 CFL 프레임워크는 모바일 키보드 예측, IoT 기기 모니터링, 자율주행차 이벤트 탐지와 같은 응용 분야에서 실용적인 구현을 가능하게 하며, 확장성과 프라이버시 향상에 기여한다.