[논문 리뷰] Wireless Communications for Collaborative Federated Learning in the Internet of Things.

Mingzhe Chen, H. Vincent Poor외 2명|arXiv (Cornell University)|2020. 06. 03.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 중앙 제어자에 대한 의존도를 줄여 엣지 IoT 기기들이 공유된 기계학습 모델을 훈련시킬 수 있도록 하는 새로운 프레임워크인 협업 분산 학습(Collaborative Federated Learning, CFL)을 제안한다. 네트워크 형성, 장치 스케줄링, 이동성 관리 및 코딩과 같은 탈중앙화된 통신 기법을 활용함으로써 CFL은 통신 오버헤드를 최소화하고 대규형 무선 IoT 시스템에서 프라이버시를 향상시킨다.

ABSTRACT

Internet of Things (IoT) services will use machine learning tools to efficiently analyze various types of data collected by IoT devices for inference, autonomy, and control purposes. However, due to resource constraints and privacy challenges, edge IoT devices may not be able to transmit their collected data to a central controller for training machine learning models. To overcome this challenge, federated learning (FL) has been proposed as a means for enabling edge devices to train a shared machine learning model without data exchanges thus reducing communication overhead and preserving data privacy. However, Google's seminal FL algorithm requires all devices to be directly connected with a central controller, which significantly limits its application scenarios. In this context, this paper introduces a novel FL framework, called collaborative FL (CFL), which enables edge devices to implement FL with less reliance on a central controller. The fundamentals of this framework are developed and then, a number of communication techniques are proposed so as to improve the performance of CFL. To this end, an overview of centralized learning, Google's seminal FL, and CFL is first presented. For each type of learning, the basic architecture as well as its advantages, drawbacks, and usage conditions are introduced. Then, three CFL performance metrics are presented and a suite of communication techniques ranging from network formation, device scheduling, mobility management, and coding is introduced to optimize the performance of CFL. For each technique, future research opportunities are also discussed. In a nutshell, this article will showcase how the proposed CFL framework can be effectively implemented at the edge of large-scale wireless systems such as the Internet of Things.

연구 동기 및 목표

• 스케일링 및 인프라 제약으로 인해 직접적인 기기 간 통신이 불가능한 IoT 환경에서 기존 분산 학습의 한계를 해결하기 위해.
• Google의 원래 FL 프레임워크에서 중앙 제어자에 대한 의존도를 해소하기 위해 엣지 기기 간 탈중앙화된 협업 모델 훈련을 가능하게 하기 위해.
• 자원 제약이 있는 기기들이 포함된 대규형 동적 무선 IoT 네트워크에 적합한 확장 가능하고 프라이버시를 보존하는 FL 프레임워크를 설계하기 위해.
• 특화된 무선 통신 기법을 통해 협업 분산 학습의 통신 효율성과 시스템 성능을 최적화하기 위해.
• CFL을 위한 네트워크 형성, 장치 스케줄링, 이동성 관리 및 코딩 분야에서의 미래 연구 기회를 규명하고 논의하기 위해.

제안 방법

• 중앙 제어자와의 직접적이고 지속적인 통신 없이도 엣지 기기들이 공동으로 글로벌 모델을 훈련시킬 수 있도록 하는 새로운 FL 프레임워크인 협업 분산 학습(Collaborative Federated Learning, CFL)을 제안한다.
• 탈중앙화된 환경에서 국소 모델 집계를 위한 동적이고 효율적인 기기 클러스터링을 가능하게 하는 네트워크 형성 기법을 도입한다.
• 각 훈련 라운드에서 참여할 장치의 선택을 최적화하기 위해 장치 스케줄링 전략을 활용하여 부하 균형을 맞추고 수렴 속도를 향상시킨다.
• 이동성이 높은 IoT 환경에서 안정적인 통신 링크와 모델 일관성을 유지하기 위해 이동성 관리 프로토콜을 적용한다.
• 무선 채널에서의 전송 오류에 대한 내성을 향상시키고 통신 오버헤드를 줄이기 위해 코딩 기법을 적용한다.
• 중앙 집중형 학습, 기존 FL 및 CFL을 비교 분석하는 프레임워크를 구축하여 아키텍처적 차이점과 성능 트레이드오프를 명확히 한다.

실험 결과

연구 질문

• RQ1 중앙 제어자에 의존하지 않고 대규형 IoT 네트워크에서 효과적으로 작동할 수 있도록 분산 학습을 어떻게 적응시킬 수 있는가?
• RQ2 무선 IoT 환경에서 탈중앙화된 FL의 성능과 확장성을 향상시키기 위해 어떤 통신 기법을 사용할 수 있는가?
• RQ3 네트워크 형성, 장치 스케줄링, 이동성 관리 및 코딩이 협업 분산 학습의 수렴성과 효율성에 미치는 영향는 어떠한가?
• RQ4 중앙 집중형 학습, 기존 FL 및 협업 분산 학습 간의 주요 아키텍처적 및 운영적 트레이드오프는 무엇인가?
• RQ5 동적이고 자원 제약이 있는 무선 네트워크에서 CFL의 설계 및 구현을 통해 도출되는 미래 연구 방향은 무엇인가?

주요 결과

• 제안된 협업 분산 학습(Collaborative Federated Learning, CFL) 프레임워크는 중앙 제어자에 대한 의존도를 효과적으로 줄여 대규형 IoT 환경에서 확장 가능하고 프라이버시를 보존하는 모델 훈련을 가능하게 했다.
• 장치 스케줄링 및 네트워크 형성과 같은 통신 기법은 탈중앙화된 환경에서 훈련 효율성과 수렴 속도를 크게 향상시켰다.
• 이동성 관리 프로토콜은 이동성이 높은 IoT 환경에서 모델 일관성과 통신 신뢰성을 유지하는 데 기여했다.
• CFL에 적용된 코딩 기법은 통신 오버헤드를 감소시키고 손실이 많은 무선 채널에서의 패킷 손실에 대한 강건성을 향상시켰다.
• 특히 고밀도 기기 및 연결성 제약이 있는 환경에서 기존 FL에 비해 더 뛰어난 확장성과 내성성을 보였다.
• 탈중앙화된 통신 프로토콜, 적응형 스케줄링 및 계층 간 최적화 분야에서 CFL을 위한 다수의 미래 연구 기회를 규명했다.