[論文レビュー] Peer-to-peer Federated Learning on Graphs

Anusha Lalitha, Osman Cihan Kilinc+2 more|arXiv (Cornell University)|Jan 31, 2019

Privacy-Preserving Technologies in Data参考文献 11被引用数 139

ひとこと要約

本論文は、ノードが局所データと1ホップ隣接ノードを用いてベイズ様の信念を更新する、グラフ上の完全に分散型のピアツーピア連合学習アルゴリズムを提案し、高確率の保証を証明するとともに、線形回帰とDNNに対する変分推論で検証する。

ABSTRACT

We consider the problem of training a machine learning model over a network of nodes in a fully decentralized framework. The nodes take a Bayesian-like approach via the introduction of a belief over the model parameter space. We propose a distributed learning algorithm in which nodes update their belief by aggregate information from their one-hop neighbors to learn a model that best fits the observations over the entire network. In addition, we also obtain sufficient conditions to ensure that the probability of error is small for every node in the network. We discuss approximations required for applying this algorithm to train Deep Neural Networks (DNNs). Experiments on training linear regression model and on training a DNN show that the proposed learning rule algorithm provides a significant improvement in the accuracy compared to the case where nodes learn without cooperation.

研究の動機と目的

• 局所的データを持つネットワークノードを活用して中央サーバなしに学習を動機づける。
• グローバルモデルを学習するためのベイズ様信念更新と隣接ノード間の合意を開発する。
• 全ノードでグローバルに最適なモデルを達成する高確率保証を提供する。
• フレームワークを線形回帰とディープニューラルネットワークへ特化する。
• スケーラブルなDNN訓練のための変分推論を用いて実用的な実現性を示す。

提案手法

• ネットワークを隣接の影響を捉える確率的重み行列 W を持つ有向グラフとしてモデル化する。
• 各ノードは有限のパラメータ集合 Theta に対するプライベート信念とパブリック信念を保持し、データを用いて局所的なベイズ更新を行う。
• ノードは1ホップ隣接ノードとパブリック信念を交換し、対数信念合意ステップを用いてプライベート信念を更新する。
• 各反復で hat{theta} を現在のプライベート信念の最大化点として宣言する。
• 結合性と学習可能性の緩い仮定の下で、すべてのノードが Theta* に収束する高確率を示す理論的保証を提供する。
• DNN に適用する場合、厳密なベイズ更新を変分推論に置換して扱いやすい近似を得る。

実験結果

リサーチクエスチョン

• RQ1 中央サーバーなしで完全に分散されたネットワークで学習をどのように実現できるか？
• RQ2 すべてのノードがグローバルに最適なパラメータを学習することを保証するサンプル複雑性とネットワーク接続性の要件は何か？
• RQ3 フレームワークは線形モデルと非線形（DNN）モデルの両方で正確に学習できるか？
• RQ4 複雑なモデルのためにベイズ更新をスケールさせるには変分推論をどう利用できるか？
• RQ5 孤立したローカル学習や集中トレーニングと比較してどのような性能向上が達成可能か？

主な発見

• Theorem 1 provides a high-probability bound: P(exists i with hat{theta}^{(n)}_i not in Theta*) ≤ delta when n ≥ 16 C log(NM/δ) / (K(Theta)^2 (1 − λ_max(W))).
• Corollary 1 gives an upper bound on the network-averaged true risk difference, scaling with sqrt(r) under Assumption 4.
• The algorithm achieves learning of the globally optimal model under mild connectivity and learnability, with the lower bound on training samples growing logarithmically with the number of nodes and parameters.
• Experiments on distributed Bayesian linear regression show decentralized learning matching central-server performance when cooperation is used.
• For DNNs, VI-based updates enable scalable decentralized training with negligible accuracy loss compared to centralized baselines in provided setups.
• Empirical results on distributed MNIST fashion data demonstrate accurate distributed training under both IID and non-IID, balanced and unbalanced, scenarios.