[논문 리뷰] FedAIoT: A Federated Learning Benchmark for Artificial Intelligence of Things

Samiul Alam, Tuo Zhang외 9명|arXiv (Cornell University)|2023. 09. 29.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

FedAIoT를 소개하는 AIoT용 FL 벤치마크로, 여덟 개의 IoT 유래 데이터셋과 엔드-투-엔드 프레임워크를 갖추고 있으며, 데이터 이질성, FL 최적화기, 클라이언트 샘플링, 라벨 소음, 양자화를 분석합니다.

ABSTRACT

There is a significant relevance of federated learning (FL) in the realm of Artificial Intelligence of Things (AIoT). However, most existing FL works do not use datasets collected from authentic IoT devices and thus do not capture unique modalities and inherent challenges of IoT data. To fill this critical gap, in this work, we introduce FedAIoT, an FL benchmark for AIoT. FedAIoT includes eight datasets collected from a wide range of IoT devices. These datasets cover unique IoT modalities and target representative applications of AIoT. FedAIoT also includes a unified end-to-end FL framework for AIoT that simplifies benchmarking the performance of the datasets. Our benchmark results shed light on the opportunities and challenges of FL for AIoT. We hope FedAIoT could serve as an invaluable resource to foster advancements in the important field of FL for AIoT. The repository of FedAIoT is maintained at https://github.com/AIoT-MLSys-Lab/FedAIoT.

연구 동기 및 목표

• AIoT에서 연합학습을 위한 다양한 모달리티와 응용 분야를 포괄하는 여덟 개의 실제 IoT 데이터셋을 제공한다.
• AIoT 친화적 모델링, 비IID 데이터 파티셔닝, 전처리, 하이퍼파라미터, IoT-요인 에뮬레이션을 포함하는 통합된 엔드투엔드 FL 프레임워크를 제시한다.
• 다양한 비IID 정도, 최적화기, 클라이언트 샘플링 비율에 따라 데이터셋 간 FL 성능을 벤치마킹하여 기회와 도전을 밝힌다.
• 오류 라벨에 대한 견고성과 양자화 정밀도(FP32 대 FP16)로 학습할 때 IoT 기기에 미치는 영향을 조사한다.

제안 방법

• accelerometer, 무선 신호, 드론 이미지, 오디오, 스마트홈 센서를 포함한 모달리티의 여덟 IoT-origin 데이터셋을 큐레이션한다.
• 분류, 회귀, 탐지 작업에 맞춘 세 가지 비IID 데이터 파티셔닝 방식들을 제안한다.
• 리소스 제약 장치에 적합한 AIoT 친화적 모델을 설계한다(예: LSTM, ResNet18, YOLOv8n, BiLSTM, MLP).
• 데이터 전처리, 하이퍼파라미터, IoT-요인 에뮬레이터를 포괄하는 엔드투엔드 FL 프레임워크를 통합한다.
• 오류 라벨 에뮬레이션을 중앙집중식 학습 혼동 행렬로 구현하고 메모리 효율을 위한 FP16 양자화 학습을 지원한다.

Figure 1 : Overview of FedAIoT .

실험 결과

연구 질문

• RQ1 데이터 이질성(비IID성)이 다양한 AIoT 작업 및 모달리티에서 FL 성능에 어떤 영향을 미치는가?
• RQ2 표준 FL 최적화기(FedAvg, FedOPT)는 varying heterogeneity에서 어떻게 비교되며, 클라이언트 샘플링 비율이 정확도와 수렴에 어떤 영향을 미치는가?
• RQ3 오류 라벨과 양자화 학습이 AIoT 데이터셋에 대한 FL 성능에 미치는 영향은 무엇인가?
• RQ4 어떤 IoT 모달리티와 작업이 양자화 및 견고한 학습 전략의 혜택을 가장 많이 받는가?

주요 결과

• FedAvg는 일반적으로 낮은 이질성 하에서 더 안정적인 성능을 보이고 종종 중앙집중된 결과에 근접하는 반면, FedOPT는 고이질성에서 여러 데이터셋에서 수렴하지 못하는 경우가 있다.
• 더 높은 클라이언트 샘플링 비율은 최종 정확도를 향상시키는 경향이 있지만 항상 수렴 속도를 높이진 않으며 모달리티에 따라 효과가 다르다.
• 오류 라벨은 여러 데이터셋에서 성능을 크게 저하시켜, 라벨 노이즈에 강인한 FL 방법의 필요성을 시사한다(특히 UT-HAR 및 EPIC-SOUNDS).
• 양자화 학습(FP16)은 메모리 사용을 크게 줄이지만(60% 이상) 정확도에 미치는 효과가 데이터셋마다 다르게 나타나며, 일부 데이터셋은 FP32 성능을 유지하거나 상회하고, 다른 데이터셋은 저하를 보인다.
• 벤치마크는 데이터셋 및 모달리티별로 이질성, 잡음, 압축에 대한 회복력의 차이를 강조하며 AIoT에서 맞춤형 FL 전략의 필요성을 강조한다.

Figure 2 : Architecture of the end-to-end FL framework for AIoT incorporated in FedAIoT .