[논문 리뷰] Federated Learning for Internet of Things: A Federated Learning Framework for On-device Anomaly Data Detection

Tuo Zhang, Chaoyang He외 4명|arXiv (Cornell University)|2021. 06. 15.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 12

한 줄 요약

이 논문은 적응 최적화와 동적 학습률 스케줄링을 사용하여 기기 내에서 이상 탐지 성능을 향상시키면서도 기밀성을 유지하는, IoT 시스템에서의 기기 내 이상 탐지를 위한 연합 학습 프레임워크인 FedIoT를 제안한다. 실제 라즈베리 파이 장치에서 평가한 결과, 낮은 통신 및 메모리 오버헤드로 높은 탐지 성능을 달성하여 자원이 제한된 IoT 환경에 대한 실현 가능성을 입증한다.

ABSTRACT

Federated learning can be a promising solution for enabling IoT cybersecurity (i.e., anomaly detection in the IoT environment) while preserving data privacy and mitigating the high communication/storage overhead (e.g., high-frequency data from time-series sensors) of centralized over-the-cloud approaches. In this paper, to further push forward this direction with a comprehensive study in both algorithm and system design, we build FedIoT platform that contains FedDetect algorithm for on-device anomaly data detection and a system design for realistic evaluation of federated learning on IoT devices. Furthermore, the proposed FedDetect learning framework improves the performance by utilizing a local adaptive optimizer (e.g., Adam) and a cross-round learning rate scheduler. In a network of realistic IoT devices (Raspberry PI), we evaluate FedIoT platform and FedDetect algorithm in both model and system performance. Our results demonstrate the efficacy of federated learning in detecting a wider range of attack types occurred at multiple devices. The system efficiency analysis indicates that both end-to-end training time and memory cost are affordable and promising for resource-constrained IoT devices. The source code is publicly available at https://github.com/FedML-AI/FedIoT.

연구 동기 및 목표

• 중앙 집중식 클라우드 기반 이상 탐지 기술의 한계를 해결하기 위해, 높은 통신 및 저장 오버헤드와 기밀성 위험을 줄이기 위한 목적이 있다.
• 실제 적용이 가능하고, 오픈소스이며, 모듈러한 연합 학습 플랫폼을 개발하여 IoT 사이버보안 연구를 위한 기반을 마련하기 위한 목적이 있다.
• 적응 최적화와 학습률 스케줄링을 활용한 협업 학습을 통해 자원이 제한된 기기에서 이상 탐지 성능을 향상시키기 위한 목적이 있다.
• 실제 IoT 하드웨어에서 연합 학습의 종합적인 시스템 수준 평가를 수행하기 위해, 학습 시간, 메모리 사용량, 통신 비용을 측정하기 위한 목적이 있다.
• 전체 IoT 네트워크에 걸쳐 다양한 공격 유형을 포함하는 포괄적인 테스트 세트를 합성하여, FL 기반 이상 탐지의 현실적인 평가를 가능하게 하기 위한 목적이 있다.

제안 방법

• 응용 프로그램(연합 학습을 위한 일문자 API), 알고리즘(FedDetect 및 FedAvg와 같은 기준 모델을 지원), 인프라(MQTT를 통한 경량 IoT 통신, PyTorch를 통한 기기 내 학습)로 구성된 세 가지 모듈러 레이어를 갖춘 FedIoT 플랫폼을 설계한다.
• 로컬 적응 최적화기(예: Adam)와 라운드 간 학습률 스케줄러를 사용하는 새로운 FL 알고리즘인 FedDetect를 구현하여 모델 수렴성과 탐지 정확도를 향상시킨다.
• 공개된 N-BaIoT 데이터에서 실재성 있고 포괄적인 테스트 데이터 세트를 합성하여, IoT 네트워크 전반의 모든 공격 유형에서의 글로벌 모델 성능을 평가한다.
• 라즈베리 파이에서의 엣지 학습과 CPU/GPU 기반 분산 학습을 모두 지원하기 위해 이중 통신 백엔드를 구현: IoT 기기용 MQTT와 고성능 시스템용 MPI.
• 라즈베리 파이에서 종단 간 시스템 성능 분석을 수행하여, 라운드당 학습 시간, 메모리 소비, 실제 4G/5G 대역폭(7.65 MB/s) 조건에서의 통신 오버헤드를 측정한다.
• 깊은 오토인코더를 이상 탐지 모델로 사용하며, 각 기기에서의 로컬 업데이트와 함께 모델 집합 및 글로벌 평균화를 통한 연합 평균화 방식으로 전역적으로 학습한다.

실험 결과

연구 질문

• RQ1 중앙 집중식으로 원시 기기 데이터를 수집하지 않고도 연합 학습이 다양한 IoT 공격 유형을 효과적으로 탐지할 수 있는가?
• RQ2 적응 최적화와 동적 학습률 스케줄링를 갖춘 제안된 FedDetect 알고리즘이 표준 FedAvg에 비해 탐지 성능을 어떻게 향상시키는가?
• RQ3 실제 자원이 제한된 IoT 기기(예: 라즈베리 파이)에 연합 학습을 구현할 경우, 실제 시스템 수준의 비용(학습 시간, 메모리, 통신)은 얼마나 되는가?
• RQ4 엣지 기기에서의 연합 학습 성능이 정확도와 강건성 측면에서 중앙 집중식 GPU/CPU 학습과 얼마나 유사한가?
• RQ5 제한된 대역폭 환경에서 실세계 IoT 설정에서 통신 비용이 종단 간 학습 시간에 어떤 영향을 미치는가?

주요 결과

• FedIoT는 라즈베리 파이에서 테스트 정확도 97.47%를 달성하여 CPU/GPU 시뮬레이션에서의 98.27% 정확도에 근접함을 확인하여 엣지 기반 학습의 실현 가능성을 입증했다.
• 라즈베리 파이에서 종단 간 학습 시간은 1시간 이내(2547초)였으며, 통신 비용이 총 시간의 42.2%를 차지하여 통신 압축의 필요성을 강조했다.
• 라운드당 메모리 사용량은 라즈베리 파이의 전체 메모리 용량의 소수점 이하 부분(4GB 이하)에 불과하여 낮은 메모리 오버헤드를 나타냈다.
• 라운드당 학습 시간이 1분 이내였기 때문에 실시간 구현 가능성도 입증되었다.
• FedDetect는 CL-Single 및 FedAvg보다 이상 탐지 성능에서 뛰어나, 협업 학습을 통한 더 나은 특징 학습 덕분에 FPR과 TNR 측면에서 뛰어난 성능을 보였다.
• 시스템 효율성 분석 결과, 계산 비용과 통신 비용이 모두 자원이 제한된 IoT 엣지 기기에서의 배포에 적합하고 부담이 적다는 것이 확인되었다.