[論文レビュー] Efficient Ring-topology Decentralized Federated Learning with Deep Generative Models for Industrial Artificial Intelligent

Wang Zhao, Yifan Hu+2 more|arXiv (Cornell University)|Apr 15, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用数 5

ひとこと要約

本稿は、産業用インターネット（IIoT）における深層生成モデル（DGMs）向けに、通信効率とプライバシーを向上させるリングトポロジー型分散型フェデレーテッドラーニング（RDFL）フレームワークを提案する。一貫性のあるハッシュ法を用いたリングトポロジー、マップリダクス同期メソッド、IPFSベースのデータ共有を活用することで、RDFLは通信負荷を低減し、非IIDおよび悪意あるノード環境下でも耐性を発揮する。非IID設定下では、データポイズニング条件下でCIFAR-100で最大85.14%の精度を達成し、FedAvgを上回る性能を示した。

ABSTRACT

By leveraging deep learning based technologies, the data-driven based approaches have reached great success with the rapid increase of data generated of Industrial Indernet of Things(IIot). However, security and privacy concerns are obstacles for data providers in many sensitive data-driven industrial scenarios, such as healthcare and auto-driving. Many Federated Learning(FL) approaches have been proposed with DNNs for IIoT applications, these works still suffer from low usability of data due to data incompleteness, low quality, insufficient quantity, sensitivity, etc. Therefore, we propose a ring-topogy based decentralized federated learning(RDFL) scheme for Deep Generative Models(DGMs), where DGMs is a promising solution for solving the aforementioned data usability issues. Compare with existing IIoT FL works, our RDFL schemes provides communication efficiency and maintain training performance to boost DGMs in target IIoT tasks. A novel ring FL topology as well as a map-reduce based synchronizing method are designed in the proposed RDFL to improve decentralized FL performance and bandwidth utilization. In addition, InterPlanetary File System(IPFS) is introduced to further improve communication efficiency and FL security. Extensive experiments have been taken to demonstate the superiority of RDFL with either independent and identically distributed(IID) datasets or non-independent and identically distributed(Non-IID) datasets.

研究の動機と目的

• 産業用インターネット（IIoT）アプリケーションにおける集中型フェデレーテッドラーニング（FL）の通信ボトルネックとセキュリティリスクを解決する。
• 深層生成モデル（DGMs）を活用し、データの不完全性、低品質、機微性といったIIoTにおけるデータ利用性の問題を克服する。
• 中央サーバーへの依存を低減し、システムの安定性と帯域幅の利用効率を向上させる分散型FLフレームワークを設計する。
• 分散型FL環境下でのデータポイズニングに対する耐性を高める。
• IPFSと新規のリングベース同期メカニズムを活用し、通信効率とセキュリティを向上させる。

提案手法

• 一貫性のあるハッシュ法を用いてリングトポロジーを構築し、モデル集約を分散化することで通信負荷を低減する。
• マップリダクスベースの同期メソッドを設計し、分散型FLにおける帯域幅の利用効率と学習の安定性を向上させる。
• 安全で効率的なデータ共有と通信コストの低減を実現するため、インターホラネット・ファイルシステム（IPFS）を統合する。
• リングアローバーにインspiredした同期プロトコルを実装し、ノード間での効率的なパラメータ集約を可能にする。
• 局所的なジェネレータおよびディスクラミネータを備えたDGMs（例：GANs）を導入し、データ品質の向上と非IIDデータの処理を実現する。
• 可変な同期間隔$K$を備えたハイブリッドトレーニング戦略を採用し、通信効率のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 リングトポロジー型分散型FLフレームワークは、IIoTアプリケーションにおける通信効率の向上と帯域幅の圧力を軽減できるか？
• RQ2 本稿で提案するRDFLフレームワークは、産業現場で一般的な非IIDデータ分布下でどのように性能を発揮するか？
• RQ3 悪意あるノードやデータポイズニングに直面した場合、RDFLはモデルの性能と耐性をどの程度維持できるか？
• RQ4 IPFSベースのデータ共有は、分散型FLにおける通信コストの低減とセキュリティ強化をさらに実現できるか？
• RQ5 さまざまな通信間隔下で、RDFLの同期メカニズムは、従来のFedAvgと比較して収束性と精度の面でどの程度優れているか？

主な発見

• IID設定下で信頼できるノードと悪意あるノードの比率が5:0の場合、RDFLはCIFAR-100で85.14%の分類精度を達成し、FedAvgの82.76%を上回った。
• 非IIDデータ（LDAパーティショニング）下で信頼できるノードと悪意あるノードの比率が4:1の場合、RDFLはCIFAR-10で63.25%の精度を維持したのに対し、FedAvgは61.72%であった。
• RDFLで訓練されたGANは、高い同期間隔（例：$K=20000$）下でも高品質な画像を生成でき、通信頻度の低下に対しても耐性があることが示された。
• エアス・モーヴァー距離（EMD）の結果から、生成画像が実データに近いことが確認され、生成品質の向上が裏付けられた。
• インセプションスコア（IS）とEMDの評価から、RDFLはIIDおよび非IIDデータの両環境下で優れた生成性能を維持していることが確認された。
• リングトポロジーと同期メカニズムは、集中型または単純な分散型FLと比較して、学習の安定性を著しく向上させ、通信負荷を低減した。