[논문 리뷰] An Empirical Study of Federated Learning on IoT-Edge Devices: Resource Allocation and Heterogeneity

Kok‐Seng Wong, Manh Nguyen-Duc외 4명|arXiv (Cornell University)|2023. 05. 31.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 실증 연구는 실제 IoT-엣지 디바이스에서 연합학습(FL)을 평가하여, 시뮬레이션 기반 FL 평가가 실제 비용과 성능 문제를 크게 과소평가하고 있음을 밝혀냈다. 저자들은 계산 이질성과 데이터의 비IIDs 분포가 FL 수렴과 효율성에 가장 큰 영향을 미치며, 디바이스 내에서의 학습이 디바이스 간에 훈련 시간과 자원 소비에 상당한 변동성을 초래함을 입증한다.

ABSTRACT

Nowadays, billions of phones, IoT and edge devices around the world generate data continuously, enabling many Machine Learning (ML)-based products and applications. However, due to increasing privacy concerns and regulations, these data tend to reside on devices (clients) instead of being centralized for performing traditional ML model training. Federated Learning (FL) is a distributed approach in which a single server and multiple clients collaboratively build an ML model without moving data away from clients. Whereas existing studies on FL have their own experimental evaluations, most experiments were conducted using a simulation setting or a small-scale testbed. This might limit the understanding of FL implementation in realistic environments. In this empirical study, we systematically conduct extensive experiments on a large network of IoT and edge devices (called IoT-Edge devices) to present FL real-world characteristics, including learning performance and operation (computation and communication) costs. Moreover, we mainly concentrate on heterogeneous scenarios, which is the most challenging issue of FL. By investigating the feasibility of on-device implementation, our study provides valuable insights for researchers and practitioners, promoting the practicality of FL and assisting in improving the current design of real FL systems.

연구 동기 및 목표

• 시뮬레이션 기반 FL 평가와 실제 IoT-엣지 디바이스에 구현된 환경 간의 격차를 조사하기 위해.
• 계산 이질성, 네트워크 변동성, 데이터 비IIDs 분포가 FL 성능과 자원 비용에 미치는 영향을 분석하기 위해.
• 실제 자원 소비와 시스템 안정성에 중점을 두어 디바이스 내 FL의 실현 가능성에 대한 실증적 통찰을 제공하기 위해.
• 기존 시뮬레이션 기반 FL 연구가 실제 운영 제약 조건을 포괄하지 못하는 한계를 평가하기 위해.

제안 방법

• Raspberry Pi와 NVIDIA Jetson 플랫폼을 포함한 이질적인 네트워크의 IoT-엣지 디바이스에서 대규모 실세계 FL 실험을 수행하였다.
• 각 FL 라운드 동안 실제 훈련 시간, 메모리 사용량, CPU/GPU 부하, 네트워크 대역폭 소비를 측정하였다.
• 비IIDs 데이터 분포를 클라이언트 간에 시뮬레이션하기 위해 제어된 데이터 분할을 사용한 FedAvg 알고리즘을 적용하였다.
• 실제 운영 비용을 평가하기 위해 시스템 수준 메트릭(배터리 소모, 메모리 카드 성능, 서버 부하)을 수집하고 분석하였다.
• 실제 디바이스 결과를 시뮬레이션 기반 FL 성능과 비교하여 수렴 속도와 자원 사용에서의 격차를 파악하였다.
• 전원 공급 품질과 메모리 카드 신뢰성의 모델 훈련 안정성과 정확성에 미치는 영향을 평가하였다.

Figure 1: The standard FL framework.

실험 결과

연구 질문

• RQ1 RQ1: IoT-엣지 디바이스에서의 실세계 FL 구현은 시뮬레이션 기반 평가와 비교해 성능과 자원 소비 측면에서 어떻게 다를까?
• RQ2 RQ2: IoT 디바이스 간의 계산 이질성이 FL 수렴 시간과 모델 정확성에 어떻게 영향을 미치는가?
• RQ3 RQ3: 데이터 이질성, 네트워크 변동성, 디바이스 자원 제약 조건이 결합될 경우 FL 시스템 효율성에 어떤 영향을 미치는가?
• RQ4 RQ4: 전원 공급 안정성과 메모리 카드 성능과 같은 요소들이 디바이스 내 FL 훈련의 신뢰성과 수명에 어떻게 영향을 미치는가?

주요 결과

• 시뮬레이션 기반 FL 평가에서는 실세계 훈련 시간과 자원 소비를 크게 과소평가하며, 특히 저사양 디바이스에서 두드러진다.
• 계산 이질성은 업데이트 교환 시간에 상당한 변동성을 유도하며, 느린 디바이스가 FL 과정에서 병목 현상이 된다.
• 데이터 비IIDs 분포는 특히 계산 이질성과 네트워크 이질성이 결합된 경우 모델 수렴에 가장 큰 영향을 미치는 주요 요인이다.
• 배터리 수명 저하와 전역 모델 정확도 저하 사이에 직접적인 상관관계가 있으며, 이는 전원 제약 조건이 학습 품질에 영향을 준다는 것을 시사한다.
• 메모리 카드 속도와 신뢰성은 데이터 I/O 성능에 영향을 미치며, 느리거나 고장난 카드는 훈련 지연을 유발하고 데이터 손실 위험을 증가시킨다.
• 집계 서버의 성능은 핵심적이다; 서버 과부하 상태에서는 모델 업데이트가 지연되고, 특히 클라이언트 수가 많을 경우 FL 훈련 주기 자체가 방해받을 수 있다.

Figure 2: Our Methodology.