[論文レビュー] Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning

Hideya Ochiai, Yuwei Sun+3 more|arXiv (Cornell University)|May 24, 2022

Privacy-Preserving Technologies in Data被引用数 20

ひとこと要約

WAFLは中心サーバーなしで近傍ノード間の完全分散型モデル交換とアグリゲーションを可能にし、 encounters-based 協力を通じて高度に非IIDデータから一般化モデルを実現します。

ABSTRACT

Privacy-sensitive data is stored in autonomous vehicles, smart devices, or sensor nodes that can move around with making opportunistic contact with each other. Federation among such nodes was mainly discussed in the context of federated learning with a centralized mechanism in many works. However, because of multi-vendor issues, those nodes do not want to rely on a specific server operated by a third party for this purpose. In this paper, we propose a wireless ad hoc federated learning (WAFL) -- a fully distributed cooperative machine learning organized by the nodes physically nearby. WAFL can develop generalized models from Non-IID datasets stored in distributed nodes locally by exchanging and aggregating them with each other over opportunistic node-to-node contacts. In our benchmark-based evaluation with various opportunistic networks, WAFL has achieved higher accuracy of 94.8-96.3% than the self-training case of 84.7%. All our evaluation results show that WAFL can train and converge the model parameters from highly-partitioned Non-IID datasets over opportunistic networks without any centralized mechanisms.

研究の動機と目的

• 中央サーバーなしで複数ベンダーのモバイルノード間のプライバシー保護学習を動機づける。
• WAFLを完全分散型協調学習パラダイムとして提案。
• WAFLが機会的遭遇を通じて高度に非IIDデータから一般化モデルへ収束できることを示す。
• モデル交換とアグリゲーションインターフェースの理論的・実践的枠組みを提供。
• MNISTデータを用いて静的および動的モビリティパターンを横断してWAFLを評価。

提案手法

• ノードは private dataで locally 学習し、遭遇時に学習済みモデルパラメータを交換。
• ノードでのモデルアグリゲーションは theta_me' = theta_me + lambda * sum(theta_k - theta_me) / (|nbr(n)| + 1).
• アグリゲーション後、ノードは自分のデータ上で SGD風のステップでローカルミニバッチ更新を行う（Eq. 4）。
• WAFL交換前に locally 事前訓練して初期精度を向上させる（Eq. 6）。
• パラメータ更新ダイナミクスの議論は、仮想的に統合されたデータセットの損失を最小化する方向への収束を示す（Eq. 10）。
• アドホック交換のインターフェースには Wi‑Fi ad hoc mode または UDP multicast を用いた Bluetooth によるモデルパラメータ配布。

実験結果

リサーチクエスチョン

• RQ1 WAFLは中央サーバーなしの完全分散アドホックネットワークで高度に非IIDデータから一般化モデルを達成できるか？
• RQ2 さまざまなモビリティパターンとネットワークトポロジがWAFLの収束と精度にどう影響するか？
• RQ3 ローカル学習とノード間学習のバランスを取る適切なアグリゲーション係数と訓練スケジュールは？
• RQ4 この設定でWAFLは自己訓練、サーバーを用いた従来の連合学習、IPL Sとどう比較されるか？

主な発見

• WAFLは様々な静的/動的接触パターン下で精度を約96%に達し、自己訓練およびIPLSベースラインを上回る。
• WAFLは中央集権的連合を必要とせず、仮想的に統合されたデータセットの損失最小化方向へモデルパラメータを収束させることができる。
• Lambdaを(0,1]にするアグリゲーションは近隣ノイズのドリフトを効果的に抑えつつ局所更新を維持する。
• パフォーマンスは複数のネットワークトポロジー（static_line, static_tree, static_ringstar, static_dense）とモビリティパターン（RWP, CSE）で頑健。
• 90% 非IID MNISTデータで、WAFLは構成を跨いで競合的な精度を達成し、いくつかの設定でフェデレーテッドラーニングと近い精度を示す。