[논문 리뷰] Federated Learning for Internet of Things: Applications, Challenges, and Opportunities

Tuo Zhang, Lei Gao외 4명|arXiv (Cornell University)|2021. 11. 15.

Privacy-Preserving Technologies in Data인용 수 24

한 줄 요약

이 논문은 개인정보 보호 및 확장성을 고려한 IoT 시스템을 위한 연합 학습(FL)을 제안하며, 원시 데이터를 중앙 집중화하지 않고도 협업 모델 학습을 가능하게 한다. 이는 통신 오버헤드, 기기 이질성, 안전한 집계와 같은 IoT에 FL을 구현할 때의 일곱 가지 핵심 과제를 식별하고, 경량 프로토콜, 표준화된 도구, 엣지 최적화 프레임워크를 통해 실세계 구현을 가능하게 할 기회를 제시한다.

ABSTRACT

Billions of IoT devices will be deployed in the near future, taking advantage of faster Internet speed and the possibility of orders of magnitude more endpoints brought by 5G/6G. With the growth of IoT devices, vast quantities of data that may contain users' private information will be generated. The high communication and storage costs, mixed with privacy concerns, will increasingly challenge the traditional ecosystem of centralized over-the-cloud learning and processing for IoT platforms. Federated Learning (FL) has emerged as the most promising alternative approach to this problem. In FL, training data-driven machine learning models is an act of collaboration between multiple clients without requiring the data to be brought to a central point, hence alleviating communication and storage costs and providing a great degree of user-level privacy. However, there are still some challenges existing in the real FL system implementation on IoT networks. In this paper, we will discuss the opportunities and challenges of FL in IoT platforms, as well as how it can enable diverse IoT applications. In particular, we identify and discuss seven critical challenges of FL in IoT platforms and highlight some recent promising approaches towards addressing them.

연구 동기 및 목표

• 대규모 데이터 생성으로 인해 높은 통신 비용과 개인정보 위험으로 인해 중앙 집중식 데이터 처리 문제를 해결하기 위해.
• 실세계 FL 구현을 방해하는 일곱 가지 핵심 과제를 식별하고 분석하기 위해.
• 자원 제약이 있는 IoT 기기들에 맞춤형으로 설계된 경량적이고 안전하며 확장 가능한 FL 시스템의 기회를 부각하기 위해.
• FL의 IoT 생태계 내 보급을 가속화하기 위해 표준화 및 도구 개발을 촉진하기 위해.
• 이론적 FL 프레임워크와 실질적 IoT 구현 간 격차를 해소하기 위해 시스템 수준의 설계 통찰을 제공하기 위해.

제안 방법

• 클라이언트(즉, IoT 기기)가 로컬 모델을 학습하고 중앙 서버에 원시 데이터를 그대로 유지한 채 모델 업데이트만 전송하는 분산 FL 프레임워크를 제안한다.
• 모델 업데이트를 보호하고 장애 발생에 대한 내성을 확보하기 위해 쌍방향 무작위 시드 동의 및 비밀 분할 기반의 안전한 집계 프로토콜을 분석한다.
• 저성능 IoT 하드웨어에서의 기기 이질성, 통신 병목 현상, 자원 제약 등의 시스템 수준 과제를 평가한다.
• TensorFlow Federated, PySyft, FedML 등의 기존 FL 도구를 검토하고, 효율적인 학습과 배포를 지원하기 위해 이를 엣지 FL을 고려해 확장할 것을 주장한다.
• Raspberry Pi 및 NVIDIA Jetson Nano와 같은 엣지 기기에서 FL 배포를 가능하게 하는 성숙한 시스템 프레임워크인 FedIoT를 소개한다.
• TensorFlow Lite, TVM 등의 엣지 추론 프레임워크를 확장하여 FL 학습을 지원함으로써 현재 도구 생태계의 핵심 격차를 메운다.

Figure 1: Federated Learning for Internet of Things (IoT).

실험 결과

연구 질문

• RQ1 연합 학습은 대규모 IoT 환경에서 개인정보 보호 및 통신 오버헤드 문제를 효과적으로 해결할 수 있는가?
• RQ2 이질적이고 자원 제약이 있는 IoT 기기들에 FL을 배포할 때의 핵심 시스템 수준 과제는 무엇인가?
• RQ3 저성능 IoT 기기에서의 계산 오버헤드를 줄이기 위해 안전한 집계는 어떻게 최적화될 수 있는가?
• RQ4 표준화된 도구와 시뮬레이션 환경은 IoT를 위한 FL 연구 및 구현을 가속화하는 데 어떤 역할을 하는가?
• RQ5 기존 엣지 AI 프레임워크는 추론 외에 연합 학습 학습을 지원하도록 어떻게 확장될 수 있는가?

주요 결과

• 연합 학습은 원시 데이터가 IoT 기기 외부로 이동하지 않도록 하여 사용자 개인정보 보호를 크게 향상시킨다. 이는 데이터 泄露 위험을 최소화한다.
• FL에서의 협업 학습은 로컬 데이터가 제한된 경우에 특히, 개별 기기 학습보다 더 높은 모델 성능을 달성할 수 있다.
• FL의 분산 구조는 통신 및 스토리지 비용을 줄여주므로 확장성 향상에 기여하며, 특히 저대역폭 IoT 네트워크에 유리하다.
• 현재의 안전한 집계 프로토콜은 마스크 재구성으로 인해 높은 계산 오버헤드를 야기하며, 특히 사용자가 탈퇴할 경우 병목 현상이 발생해 저성능 기기에서 문제가 된다.
• FedML 및 TensorFlow Federated와 같은 기존 FL 도구들은 아직 엣지 FL 학습을 최적화하지 못해 실세계 배포에 핵심 격차를 낳고 있다.
• TensorFlow Lite 및 TVM과 같은 엣지 추론 프레임워크를 확장해 FL 학습을 지원할 경우, IoT 시스템에서 성능 및 효율성 향상에 큰 기여가 가능하다.

Figure 2: Advantages of Federated Learning for IoT.