[論文レビュー] Decentralized federated learning of deep neural networks on non-iid data

Noa Onoszko, Gustav Karlsson+2 more|arXiv (Cornell University)|Jul 18, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用数 27

ひとこと要約

本論文は Performance-Based Neighbor Selection (PENS) を紹介する。完全分散型のゴシップベースの連合学習法で、データ分布が類似したピアを特定して非IIDデータでの学習を改善し、ベースラインを上回りオラクルに近づく。

ABSTRACT

We tackle the non-convex problem of learning a personalized deep learning model in a decentralized setting. More specifically, we study decentralized federated learning, a peer-to-peer setting where data is distributed among many clients and where there is no central server to orchestrate the training. In real world scenarios, the data distributions are often heterogeneous between clients. Therefore, in this work we study the problem of how to efficiently learn a model in a peer-to-peer system with non-iid client data. We propose a method named Performance-Based Neighbor Selection (PENS) where clients with similar data distributions detect each other and cooperate by evaluating their training losses on each other's data to learn a model suitable for the local data distribution. Our experiments on benchmark datasets show that our proposed method is able to achieve higher accuracies as compared to strong baselines.

研究の動機と目的

• 非IIDクライアントデータを持つ完全分散型連合設定で個別化された深層モデルの学習に取り組む。
• データ分布が類似するピアを識別して活用する分散アルゴリズムを開発する。
• 非IIDデータのベンチマークで提案手法の性能をベースラインと比較して評価する。

提案手法

• セントラルサーバなしでピアツーピア通信のためのゴシッププロトコルを使用する。
• Pensを導入し、まず各クライアントのモデルの他者データ上の損失を評価して、Tラウンドで似たデータ分布を持つ近傍を識別する。
• 最も低い損失に基づいて上位の近傍を選択し、ローカル訓練前に彼らのモデルを統合する。
• 選択した近傍集合を用いてモデルを洗練させるために、分散ゴシップを継続する。
• ベースラインとして Random Gossip、Local、Oracle（完全な分布情報を持つ）を比較する。
• CIFAR-10とFashion-MNISTで、画像回転による共変量シフトの下でCNNを用いた実験を行う。

実験結果

リサーチクエスチョン

• RQ1 中央サーバなしで完全分散型のゴシップベースアプローチは、非IIDデータで高精度を達成できるか？
• RQ2 性能ベースの近傍選択は、分散FLにおけるランダム近傍通信より学習を改善するか？
• RQ3 Pensはクライアント間のデータ分布を完全に知るオラクルにどれだけ近づくことができるか？
• RQ4 共変量シフト下での Pens の頑健性とパラメータ感度（n_sampled, m）はどうなるか？

主な発見

Method	Acc. (independent)	Acc. (common)
Central	65.5±0.3	65.5±0.3
Oracle	58.1±0.4	57.7±0.6
Pens	57.8±0.4	57.2±1.3
Random	54.7±0.8	54.1±0.8
Local	33.4±0.2	33.3±0.7

• Pensは、非IID回転下のCIFAR-10およびFashion-MNISTでランダムゴシップや locally trained baselinesを上回る。
• 十分な局所データがある場合、Pensは完璧な分布知識を持つOracleに近い精度を達成する。
• Pensは n_sampled および m の変動に対して頑健性を示すが、n_sampled/m の比率は小さなピア集合への崩壊を避けるためにバランスを取るべきである。
• CIFAR-10の2つまたは4つの回転分布で、Pensはベースラインより精度を向上させる。
• Fashion-MNISTでは、各クライアント100および500件の訓練サンプルでPensは一貫してベースラインを上回る。
• D_i(x) が異なり D_i(y|x) が同じである非IID共変量シフト下でも手法は機能する。