[論文レビュー] Central Server Free Federated Learning over Single-sided Trust Social Networks

Chaoyang He, Conghui Tan+3 more|arXiv (Cornell University)|Oct 11, 2019

Privacy-Preserving Technologies in Data参考文献 45被引用数 62

ひとこと要約

この論文は Online Push-Sum (OPS) を紹介します。中央サーバーを必要としないフェデレーテッドラーニングアルゴリズムで、行-stochastic 重みを持つ片側信頼（非対称）ソーシャルネットワーク上で動作し、後悔分析とプライバシーに関する考慮を提供します。

ABSTRACT

Federated learning has become increasingly important for modern machine learning, especially for data privacy-sensitive scenarios. Existing federated learning mostly adopts the central server-based architecture or centralized architecture. However, in many social network scenarios, centralized federated learning is not applicable (e.g., a central agent or server connecting all users may not exist, or the communication cost to the central server is not affordable). In this paper, we consider a generic setting: 1) the central server may not exist, and 2) the social network is unidirectional or of single-sided trust (i.e., user A trusts user B but user B may not trust user A). We propose a central server free federated learning algorithm, named Online Push-Sum (OPS) method, to handle this challenging but generic scenario. A rigorous regret analysis is also provided, which shows very interesting results on how users can benefit from communication with trusted users in the federated learning scenario. This work builds upon the fundamental algorithm framework and theoretical guarantees for federated learning in the generic social network scenario.

研究の動機と目的

• セントラルサーバが利用できない場合やセントラルサーバへの通信コストが高い場合のフェデレーテッドラーニングを動機づける。
• 片側信頼（非対称トポロジー）を持つ有向グラフ上で分散学習を可能にする。
• プライバシーを保つためにモデルパラメータのみを使用するオンラインで勾配フリーの交換プロトコルを開発する。
• 敵対的と確率的損失成分を分離する後悔保証を提供する。
• さまざまなネットワーク設定下で OPS の頑健性とプライバシーの利点を示す。

提案手法

• Online Push-Sum (OPS) を提案する。これはモデルパラメータのみを交換し、行-stochastic の混同行列 W を使用する分散アルゴリズムである。
• 局所更新と勾配に基づく降下を用いて中間変数 z と正規化因子 ω を計算し、push-sum によって更新された局所モデル x を集約する。
• 対称性/二重確率性の要件を緩和し、任意のネットワークトポロジーと片側信頼を可能にする。
• 損失を敵対的成分と確率的成分に分解する後悔分析を提供し、最適な学習率 γ を導出する。
• W が二重確率的でない場合、ω が無偏集約を保証し、W が二重確率的な場合には標準のオンライン勾配法へ簡略化される。

実験結果

リサーチクエスチョン

• RQ1 セントラルサーバがない、あるいは中央サーバへの通信が難しいネットワーク上でフェデレーテッドラーニングは効果的に実行できるか？
• RQ2 通信が行に従う行-stochastic な有向トポロジーの場合の収束（後悔）特性は？
• RQ3 OPS はネットワークサイズや密度が異なる場合に中央集権的および他の分散手法とどのように比較されるか？
• RQ4 OPS は勾配やデータ全体を共有せずモデルを交換することによってプライバシーを保護するか？

主な発見

• OPS は適切に選択された γ の下で、後悔境界を O(nGR√T + σR(1+√(nC2))√(nT)) のオーダーで達成し、特定のケースでは既知のオンライン最適化のレートに一致する。
• 全クライアントのモデルが同じモデルへ収束し、収束速度は O(1/T) の設定である（Theorem 3）。
• OPS は対称/二重確率トポロジーに依存する分散オンライン勾配法より優れており、片側信頼トポロジーの利点を享受する。
• ネットワーク密度を上げるほど性能が向上し、より大きなネットワークは収束を加速する確率的サンプルを提供できる。
• OPS は勾配やデータの代わりにモデルを交換することでプライバシーの利点を維持し、非対称ネットワークにおける敵対的推定を難しくする。