[논문 리뷰] Distributed Swarm Learning for Internet of Things at the Edge: Where Artificial Intelligence Meets Biological Intelligence

Yue Wang, Zhi Tian외 4명|arXiv (Cornell University)|2022. 10. 29.

Molecular Communication and Nanonetworks인용 수 7

한 줄 요약

이 논문은 분산 군집 학습(DSL)을 제안한다. DSL은 대규모 저자원 IoT 네트워크에서의 통신 병목 현상, 데이터 이질성, 바이러스성 공격 문제를 해결하기 위해 피어 페어런트 학습(FL)과 입자 군집 최적화(PSO)를 융합한 새로운 엣지 AI 프레임워크이다. 생물학적 군집 지능과 인공지능을 통합함으로써 DSL은 무선 통신을 통한 집합 및 적응형 워커 선택을 통해 효율적이고 강건하며 적응 가능한 모델 학습을 가능하게 하여 비독립 동일 분포(non-iid) 및 악성 환경에서도 뛰어난 수렴성과 저항성을 확보한다.

ABSTRACT

With the proliferation of versatile Internet of Things (IoT) services, smart IoT devices are increasingly deployed at the edge of wireless networks to perform collaborative machine learning tasks using locally collected data, giving rise to the edge learning paradigm. Due to device restrictions and resource constraints, edge learning among massive IoT devices faces major technical challenges caused by the communication bottleneck, data and device heterogeneity, non-convex optimization, privacy and security concerns, and dynamic environments. To overcome these challenges, this article studies a new framework of distributed swarm learning (DSL) through a holistic integration of artificial intelligence and biological swarm intelligence. Leveraging efficient and robust signal processing and communication techniques, DSL contributes to novel tools for learning and optimization tailored for real-time operations of large-scale IoT in edge wireless environments, which will benefit a wide range of edge IoT applications.

연구 동기 및 목표

• 자원이 제한되고 동적인, 이질적인 엣지 IoT 환경에서 기존 피어 페어런트 학습의 한계를 해결하기 위해.
• 대규모 IoT 시스템에서의 통신 병목 현상, 데이터 및 기기의 이질성, 비볼록 최적화 문제, 프라이버시 위험, 바이러스성 공격을 극복하기 위해.
• 생물학적 군집 지능과 인공지능을 융합하여 분산 엣지 학습의 강건성, 적응성, 효율성을 향상시키기 위해.
• 소량의 스트리밍 데이터를 처리하는 대규모 저비용 IoT 기기들에 적합한 확장성 있고 실시간 학습 프레임워크를 개발하기 위해.
• 다양한 동적 엣지 네트워크 환경에서의 영구적 및 탈중앙화된 아키텍처를 지원하여 유연한 배포를 가능하게 하기 위해.

제안 방법

• 지역 기울기와 전역 최적 위치를 사용하여 국지적 모델 파라미터를 업데이트하기 위해 피어 페어런트 학습(FL)과 입자 군집 최적화(PSO)를 결합한다.
• 무선 다중 액세스를 통해 에너지 효율적이고 대역폭 절약형 모델 집합을 가능하게 하기 위해 공기 중 집합(over-the-air aggregation)을 사용한다.
• 소규모 전역 데이터셋을 사용하여 공정가치 손실 평가 기반 적응형 워커 선택을 구현하여 고품질 업데이트를 우선순위로 지정한다.
• 탐색(PSO)과 이용(FL)을 균형 있게 조절하기 위해 가중치가 부여된 속도 및 위치 업데이트를 통한 하이브리드 국지 업데이트 규칙을 도입한다.
• 각 워커가 이웃 기기들과만 통신하는 탈중앙화된 DSL 버전을 설계하여 고장 내성 및 비동기 동작을 가능하게 한다.
• 이상치 및 악성 업데이트에 대한 강건성을 향상시키기 위해 비연속 총 변동성 페널티를 적용한다.

실험 결과

연구 질문

• RQ1 군집 지능은 대규모 저성능 IoT 네트워크에서 분산 학습의 수렴성과 강건성을 어떻게 향상시킬 수 있는가?
• RQ2 공기 중 집합 기법은 엣지 IoT 환경에서 모델 정확도를 유지하면서 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 DSL은 비독립 동일 분포(non-i.i.d.) 데이터 분포와 동적인 스트리밍 데이터 환경에서 어떻게 성능을 발휘하는가?
• RQ4 공정가치 손실 기반 적응형 워커 선택은 학습 효율성과 바이러스성 공격에 대한 저항성 향상에 얼마나 기여하는가?
• RQ5 다중 워커 공기 중 집합에서 에너지 효율성과 강건성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• DSL은 비독립 동일 분포 데이터 환경에서 표준 피어 페어런트 학습보다 뛰어나며, 데이터 이질성 하에서 더 빠른 수렴성과 높은 정확도를 보였다.
• 바이러스성 공격 상황에서도 강건한 집합 및 적응형 워커 선택 덕분에 안정적인 성능 유지를 보였으며, 모델 정확도 저하가 최소에 그쳤다.
• 공기 중 집합 메커니즘은 추가 대역폭 없이도 다수의 선택된 워커가 동시에 전송할 수 있도록 해, 통신 오버헤드를 줄였다.
• PSO와 FL의 융합은 국소 최적값에서 벗어나 비볼록 문제(딥러닝에서 엣지 기기에서 흔한 문제)에서 최적화 성능을 향상시켰다.
• 탈중앙화된 DSL 버전은 중심화된 DSL과 유사한 성능을 달성했으며, 동적인 불안정한 네트워크에서 고장 내성과 확장성을 향상시켰다.
• 공정가치 손실 평가의 사용은 고품질 모델 업데이트의 효과적인 식별 및 우선순위 지정을 가능하게 하여 전체 학습 효율성을 향상시켰다.