[論文レビュー] Bayesian Nonparametric Federated Learning of Neural Networks

Mikhail Yurochkin, Mayank Agarwal+4 more|arXiv (Cornell University)|May 28, 2019

Privacy-Preserving Technologies in Data被引用数 147

ひとこと要約

ベイズ的ノンパラメトリックフレームワーク（Beta-Bernoulli過程）は、データを統合せずに局所的に訓練済みまたは事前訓練済みのニューラルネットワークを圧縮されたグローバルモデルに統合し、単一の通信ラウンドで実現する可能性がある。

ABSTRACT

In federated learning problems, data is scattered across different servers and exchanging or pooling it is often impractical or prohibited. We develop a Bayesian nonparametric framework for federated learning with neural networks. Each data server is assumed to provide local neural network weights, which are modeled through our framework. We then develop an inference approach that allows us to synthesize a more expressive global network without additional supervision, data pooling and with as few as a single communication round. We then demonstrate the efficacy of our approach on federated learning problems simulated from two popular image classification datasets.

研究の動機と目的

• プライバシー、コスト、規制のためにデータを統合できない場合に連合学習を動機づける。
• データソース間で局所的なニューラルネットワークの成分を一致させ統合するBNPフレームワークを提案する。
• 局所モデル訓練とグローバル集約を切り離して、異種の局所学習者を許容する。
• 局所の総パラメータよりも少ないパラメータで圧縮されたグローバルモデルを達成する。

提案手法

• 局所のニューラルネットワークニューロンを、βプロセスから引かれたアトムとしてモデル化し、各バッチでグローバルアトムを選択するベルヌーイ過程を用いる。
• 整合された局所ニューロンを前提にグローバルニューロンのパラメータを推定するMAP推定を用いる（Proposition 1）。
• ローカルニューロンをグローバルアトムに最適に対応付けるため、Hungarianアルゴリズムに基づく割り当てを適用する（Propositions 2と3）。
• 単一層のマッチングを多層ネットワークに拡張し、グローバル層アトムのトップダウン生成過程と層ごとのマッチング（Definitions 1およびPropositions 3–4）を用いる。
• グローバルモデルから局所重みを再初期化し、再マッチングしてグローバルネットワークを更新する追加の通信ラウンドを許可する（Section 3.3）。

実験結果

リサーチクエスチョン

• RQ1 異なるデータソースからの局所ニューロンパラメータを確率的に一致付けて、データを共有せずに一貫したグローバルニューラルネットワークを形成できるか？
• RQ2 Beta-Bernoulli過程に基づく一致付けは、素朴なアンサンブルや単純なフェデレーテッドアベレージングを上回る圧縮グローバルモデルを生み出すか？
• RQ3 フェデレーテッド設定における単一層から多層（深層）ネットワークへのスケーリングはどうなるか？
• RQ4 追加の通信ラウンドがグローバルモデルの性能とサイズに与える影響は？

主な発見

• PFNMは、単一の通信ラウンドで複数の局所モデルからグローバルニューラルネットワークを合成できる。
• 本手法は、全局の総パラメータよりも少ないパラメータで圧縮されたグローバルモデルを生み出す。
• PFNMは、MNISTおよびCIFAR-10の実験環境において、同質・異質パーティションを問わず、局所モデルおよびフェデレーテッドアベレージングを上回る。
• 追加の通信を行っても、PFNMはベースラインを上回り続け、アンサンブルと競争力を維持しつつ、はるかに小さなサイズを維持する。
• 実験では局所ネットワークのサイズを固定（例: L_j = 100 hidden neurons）にして、実質的な圧縮と性能向上を示している。
• このアプローチは、訓練データにアクセスせずに事前訓練済みのレガシーモデルを組み合わせることをサポートする。