[論文レビュー] Decentralized Bayesian Learning over Graphs

Anusha Lalitha, Xinghan Wang+4 more|arXiv (Cornell University)|May 24, 2019

Privacy-Preserving Technologies in Data参考文献 27被引用数 25

ひとこと要約

本稿では、任意の連結グラフ上で分散型ベイズ学習アルゴリズムを提案する。エージェントは、局所的なデータと1ホップの隣接エージェントとの非同期的ピアツーピア集約を用いて、グローバルモデルパラメータの事後分布を繰り返し更新する。本手法は、緩い仮定の下で理論的収束保証を提供し、不確実性の定量化を伴うスケーラブルでプライバシー保護型のベイジアンニューラルネットワークの学習を可能にする。

ABSTRACT

We propose a decentralized learning algorithm over a general social network. The algorithm leaves the training data distributed on the mobile devices while utilizing a peer to peer model aggregation method. The proposed algorithm allows agents with local data to learn a shared model explaining the global training data in a decentralized fashion. The proposed algorithm can be viewed as a Bayesian and peer-to-peer variant of federated learning in which each agent keeps a "posterior probability distribution" over a global model parameters. The agent update its "posterior" based on 1) the local training data and 2) the asynchronous communication and model aggregation with their 1-hop neighbors. This Bayesian formulation allows for a systematic treatment of model aggregation over any arbitrary connected graph. Furthermore, it provides strong analytic guarantees on converge in the realizable case as well as a closed form characterization of the rate of convergence. We also show that our methodology can be combined with efficient Bayesian inference techniques to train Bayesian neural networks in a decentralized manner. By empirical studies we show that our theoretical analysis can guide the design of network/social interactions and data partitioning to achieve convergence.

研究の動機と目的

• 中央サーバーを必要とせず、生データを共有せずに、エージェントが協調的にグローバルモデルを学習できるようにすることで、分散学習における統計的不足とプライバシー制約を解決すること。
• 中央集権的な集約を代替する、完全に分散型のピアツーピア学習アルゴリズムを構築すること。
• 任意の強連結グラフ上でのエージェント間の事後分布の収束保証を提供すること。
• 不確実性の定量化と過学習への耐性を備えた、分散環境下でのベイジアンニューラルネットワークの効率的学習を可能にすること。
• 収束速度とモデルのあいまいさの理論的分析を通じて、ネットワーク設計とデータ分割戦略を指針すること。

提案手法

• エージェントは、局所的なデータと隣接エージェントの情報に基づいて、グローバルモデルパラメータの事後分布を維持・更新する。
• アルゴリズムは非同期的でピアツーピアのモデル集約を採用し、各エージェントが自身の局所的事後分布と、隣接エージェントの事後分布の重み付き平均を組み合わせる。
• ネットワーク構造は一般の連結グラフとしてモデル化され、社会的相互作用の重みは、隣接エージェントの次数の逆数（1/|N(i)|）として定義される。
• 収束は、事後分布の集中に関する高確率的バインディングを用いて分析され、収束速度はネットワークの中心性と局所的学習能力によって特徴づけられる。
• 本フレームワークは、効率的なベイジアン推論技術と統合可能であり、ベイジアンニューラルネットワークのスケーラブルな学習を可能にする。
• 本手法は異種のデータ分割をサポートでき、構造的およびデータ分割の分析を通じて、あいまいなラベル関数への収束を検出・回避できる。

実験結果

リサーチクエスチョン

• RQ1 中央サーバーが存在しない状況でも、分散型ベイジアン学習ルールが真のグローバルモデルパラメータに収束できるか？
• RQ2 ネットワークトポロジー、特にエージェントの中心性と次数が、事後分布の収束速度にどのように影響するか？
• RQ3 局所的データの品質とデータ分割戦略が、分散型ベイジアン学習の収束性と精度に果たす役割は何か？
• RQ4 理論的収束解析が、ネットワーク構造とデータ分布の実践的設計選択をどのように導けるか？
• RQ5 アルゴリズムが収束しなくなる条件は何か？ また、その失敗を検出し、回避する方法はあるか？

主な発見

• 強い連結性と、エージェントが誤ったラベル関数を排除できる能力という緩い仮定のもとで、各エージェントの事後分布が真のグローバルモデルパラメータにほとんど確実に収束することが保証される。
• 収束速度は解析的に特徴づけられ、特に影響力の高いエージェント（例：次数の高いノード）が最も情報の多い局所的データにアクセスしている場合に最大となることが示された。
• 実験結果は、データ豊富なエージェントをネットワークの中心的かつ高次数の位置に配置することで、周辺部に配置する場合に比べて収束が速く、テスト精度も高くなることを確認した。
• 仮定2（すべてのラベルペアに対して区別可能な特徴を観測するエージェントが存在しない）に違反すると、特にラベル集合が不被分のMNISTやFMNISTのようなデータ分割において、信頼性と精度が著しく低下する。
• 非IIDデータを伴うスターネットワークでは、分布外のラベルに対する信頼度は低く保たれ、'コート'と'プルオーバー'が同時に観測されない場合、平均精度は69.7％まで低下する。
• 本手法は高い精度とスケーラビリティを達成し、時間変動する非同期ネットワーク上で100個以上のベイジアンニューラルネットワークを、不確実性推定を強化した状態で効果的に学習させた。