[論文レビュー] Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT

Peiying Zhang, Chao Wang+2 more|arXiv (Cornell University)|Feb 3, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、産業用インターネット（IIoT）デバイスからの時系列データを効率的かつプライバシーに配慮した形で管理するため、深層強化学習（DRL）を支援とするフェデレーテッドラーニング（FL）フレームワークを提案する。DDPGに基づくDRLを用いて、モデル集約に適した高品質なIIoTノードを選択することで、通信コストを低減し、学習効率を向上させた。IID条件下でMNISTおよびFashion-MNISTでは97%以上の精度を達成し、CIFAR-10では85%の精度を記録した。

ABSTRACT

The continuous expanded scale of the industrial Internet of Things (IIoT) leads to IIoT equipments generating massive amounts of user data every moment. According to the different requirement of end users, these data usually have high heterogeneity and privacy, while most of users are reluctant to expose them to the public view. How to manage these time series data in an efficient and safe way in the field of IIoT is still an open issue, such that it has attracted extensive attention from academia and industry. As a new machine learning (ML) paradigm, federated learning (FL) has great advantages in training heterogeneous and private data. This paper studies the FL technology applications to manage IIoT equipment data in wireless network environments. In order to increase the model aggregation rate and reduce communication costs, we apply deep reinforcement learning (DRL) to IIoT equipment selection process, specifically to select those IIoT equipment nodes with accurate models. Therefore, we propose a FL algorithm assisted by DRL, which can take into account the privacy and efficiency of data training of IIoT equipment. By analyzing the data characteristics of IIoT equipments, we use MNIST, fashion MNIST and CIFAR-10 data sets to represent the data generated by IIoT. During the experiment, we employ the deep neural network (DNN) model to train the data, and experimental results show that the accuracy can reach more than 97\%, which corroborates the effectiveness of the proposed algorithm.

研究の動機と目的

• 無線ネットワークにおける大量で多様性に富み、機微な性質を持つIIoTデバイスが生成するデータの管理課題に対処すること。
• IIoTにおけるフェデレーテッドラーニングにおいて、知的に高品質なクライアントノードを選択することで、通信オーバーヘッドとモデル学習のずれを低減すること。
• 動的クライアント選択に深層強化学習を活用することで、FLにおけるモデル集約の効率と収束速度を向上させること。
• 中央サーバーへの生データの直接送信を回避することで、データのプライバシーを確保し、ユーザーの機微性を保全すること。
• MNIST、Fashion-MNIST、CIFAR-10などの実世界のIIoTに類似したデータセット上で、提案されたDRL-FLフレームワークの有効性を実証すること。

提案手法

• 各IIoTデバイスに、高品質なローカルモデルを自律的に選択するDDPGベースの深層強化学習エージェントを導入する。
• 選択されたIIoTデバイスからのモデル更新を、ローカルデータ品質に基づく重み付き平均法を用いて中央サーバーで集約する。
• ローカルモデルを、バッチサイズBとローカルエポック数Eを用いた確率的勾配降下法（SGD）で学習させ、グローバルモデルを反復的に更新する。
• DRLエージェントの状態空間を、ローカルモデルの性能指標（例：損失、精度）に基づき定義し、行動空間をモデル集約の対象となるクライアントノードの選択とする。
• DRLにおける報酬関数を、高いモデル精度と低い通信コストを促進するように設計し、効率的かつ正確なグローバルモデル収束を促進する。
• 各IIoTデバイスが自らのDRLエージェントをローカルで学習する分散型DRLトレーニング方式を実装することで、スケーラビリティを向上させ、中央集権的制御を軽減する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習を用いることで、プライバシーを守りつつ、フェデレーテッドモデル集約におけるIIoTデバイスの選択をどのように改善できるか？
• RQ2 DRL支援FLフレームワークは、異種なIIoTデータ環境下でも、通信コストをどれほど低減しつつ高いモデル精度を維持できるか？
• RQ3 提案されたフレームワークは、IIoTデバイス間で非IIDおよびIIDのデータ分布下で、それぞれどのように性能を発揮するか？
• RQ4 ローカル学習エポック数（E）とバッチサイズ（B）を変化させた場合、収束速度と最終的なモデル精度にどのような影響を与えるか？
• RQ5 ベースラインのFL手法と比較して、DRLベースのクライアント選択戦略は、モデルのずれを効果的に低減し、グローバルモデルのパフォーマンスを向上させることができるか？

主な発見

• 提案されたDRL支援FLフレームワークは、IID条件下でMNISTおよびFashion-MNISTの両データセットにおいて98%を超える学習精度を達成した。
• CIFAR-10データセットでは、85%のテスト精度に到達し、より複雑な画像データでも優れたパフォーマンスを示した。
• MNISTで98%の目標精度を達成するため、E=1およびB=50の場合、提案手法は65回の通信ラウンドで達成したのに対し、FedSGDは625回のラウンドを要した。
• 非IID環境下では、E=1およびB=50の場合、提案手法は598回の通信ラウンド（FedSGDは484回）にまで低減されたが、データの不均一性にもかかわらず、高い耐性を示した。
• E=20およびB=10の場合、MNISTで98%の精度に到達するまでに17回の通信ラウンドを要した。これは、ローカルエポック数の増加とバッチサイズの低減が収束を改善することを示している。
• DRLベースのクライアント選択戦略は、特定の設定においてFedSGDと比較して、通信ラウンド数を最大73%まで削減した。これにより、その効率性の向上が確認された。