[論文レビュー] Distributed Swarm Learning for Internet of Things at the Edge: Where Artificial Intelligence Meets Biological Intelligence

Yue Wang, Zhi Tian+4 more|arXiv (Cornell University)|Oct 29, 2022

Molecular Communication and Nanonetworks被引用数 7

ひとこと要約

本稿では、分散型スワーム学習（DSL）を提案する。これは、通信ボトルneck、データ非独立同分布性、Byzantine攻撃の問題を解決するため、フェデレーテッドラーニングと粒子群最適化（PSO）を統合した、大規模でリソース制約のあるIoTネットワークを想定した新しいエッジAIフレームワークである。生物学的スワーム知能とAIを統合することで、空中経由での集約と適応的ワーカー選択を介し、非i.i.d.環境および攻撃的環境において、効率的で耐障害性が高く、適応的なモデル学習を実現し、優れた収束性と耐性を達成する。

ABSTRACT

With the proliferation of versatile Internet of Things (IoT) services, smart IoT devices are increasingly deployed at the edge of wireless networks to perform collaborative machine learning tasks using locally collected data, giving rise to the edge learning paradigm. Due to device restrictions and resource constraints, edge learning among massive IoT devices faces major technical challenges caused by the communication bottleneck, data and device heterogeneity, non-convex optimization, privacy and security concerns, and dynamic environments. To overcome these challenges, this article studies a new framework of distributed swarm learning (DSL) through a holistic integration of artificial intelligence and biological swarm intelligence. Leveraging efficient and robust signal processing and communication techniques, DSL contributes to novel tools for learning and optimization tailored for real-time operations of large-scale IoT in edge wireless environments, which will benefit a wide range of edge IoT applications.

研究の動機と目的

• リソース制限があり、動的かつ非均質なエッジIoT環境における従来のフェデレーテッドラーニングの限界を解消すること。
• 大規模なIoTシステムにおける通信ボトルneck、データおよびデバイスの非均質性、非凸最適化、プライバシーリスク、Byzantine攻撃の課題を克服すること。
• 生物学的スワーム知能と人工知能を統合し、分散エッジラーニングにおける耐障害性、適応性、効率性を向上させること。
• 大規模で低コストのIoTデバイスに適したスケーラブルでリアルタイムの学習フレームワークを構築すること。
• 動的エッジネットワークにおける柔軟な展開を可能にするために、中央集権的および分散型のトポロジーを両方可能にすること。

提案手法

• 局所勾配とグローバルベスト位置を用いて、フェデレーテッドラーニング（FL）と粒子群最適化（PSO）を統合し、局所モデルパラメータを更新する。
• 無線マルチアクセスを介した空中経由集約を用い、エネルギー効率的で帯域幅を節約するモデル集約を実現する。
• 小さなグローバルデータセットを用いたフェアバリュー損失評価に基づく適応的ワーカー選択を実装し、高品質な更新を優先する。
• 探索（PSO）と活用（FL）の両方をバランスさせる重み付き速度および位置更新を用いたハイブリッド局所更新ルールを導入する。
• 各ワーカーが隣接ワーカーとのみ通信する分散型DSLバージョンを設計し、障害耐性および非同期動作を可能にする。
• 外れ値および攻撃的更新に対する耐性を高めるために、非滑らかさ総変動ペナルティを適用する。

実験結果

リサーチクエスチョン

• RQ1 スワーム知能は、大規模で能力が低いIoTネットワークにおける分散学習の収束性と耐障害性をどのように向上させるか？
• RQ2 空中経由集約は、エッジIoTにおけるモデル精度を維持しつつ、通信オーバーヘッドをどの程度低減できるか？
• RQ3 DSLは、非i.i.d.データ分布および動的でストリーミングデータ環境下で、どのように性能を発揮するか？
• RQ4 フェアバリュー損失に基づく適応的ワーカー選択は、学習効率およびByzantine攻撃に対する耐性をどの程度向上させるか？
• RQ5 複数ワーカーによる空中経由集約において、エネルギー効率性と耐障害性のトレードオフはどのようなものか？

主な発見

• DSLは、非i.i.d.データ環境において、従来のフェデレーテッドラーニングを著しく上回り、データ非均質性下でも高速な収束性と高い精度を示す。
• Byzantine攻撃下でも、耐障害性の高い集約と適応的ワーカー選択のおかげで安定した性能を維持し、モデル精度の低下が最小限に抑えられる。
• 空中経由集約機構により、追加の帯域幅を要せず、複数の選択ワーカーからの同時送信が可能となり、通信オーバーヘッドが削減される。
• PSOとFLの統合により、特にエッジデバイスにおけるディープラーニングで一般的な非凸問題において、局所最適解からの脱出が可能となり、最適化性能が向上する。
• 分散型DSLバージョンは、中央集権型DSLと同等の性能を達成するとともに、動的かつ信頼性の低いネットワークにおける障害耐性とスケーラビリティを向上させる。
• フェアバリュー損失評価の適用により、高品質なモデル更新の特定と優先順位付けが効果的に行われ、全体の学習効率が向上する。