[論文レビュー] One-Shot Federated Learning

Neel Guha, Ameet Talwalkar+1 more|arXiv (Cornell University)|Feb 28, 2019

Privacy-Preserving Technologies in Data参考文献 7被引用数 138

ひとこと要約

この論文は、アンサンブルモデルと蒸留を用いて単一通信ラウンドからグローバルモデルを構築するワンショット・フェデレーテッド・ラーニングを提案し、局所ベースラインに対して平均相対ROC-AUCで51.5%のゲイン、および実現不可能なグローバル理論値の90.1%を達成します。

ABSTRACT

We present one-shot federated learning, where a central server learns a global model over a network of federated devices in a single round of communication. Our approach - drawing on ensemble learning and knowledge aggregation - achieves an average relative gain of 51.5% in AUC over local baselines and comes within 90.1% of the (unattainable) global ideal. We discuss these methods and identify several promising directions of future work.

研究の動機と目的

• 通信の反復的なフェデレーテッド学習に代わる、1ラウンドでグローバルモデルを学習することで通信効率を高める動機づけ。
• デバイス間でデータが非 IID の場合に異種の局所モデルを統合するためのアンサンブル学習を活用。
• プライバシー保護学習を可能にするよう、代理のラベルなしデータを用いた近接蒸留を通じてアンサンブルを圧縮する。
• 実際のフェデレーテッドデータセット上で提案手法を評価し、実用性と性能を評価する。
• パーソナライズ、プライバシー保証、非凸モデルの将来の方向性を概説する。

提案手法

• 各デバイスはデータ上で完了する局所凸モデル（カーネル化SVM）を学習する。
• 中央サーバは、CVベースの性能、データ量、またはランダム選択などの戦略を用いて、アンサンブルを構成する局所モデルのサブセット（kモデル）を選択する。
• アンサンブルの予測は、選択した局所モデルを平均化して結合する。
• 半教師あり設定では、アンサンブルをデュアル空間での近接蒸留を介して代理のラベルなしデータから小さなモデルへ蒸留する。
• 蒸留は、教師アンサンブルの予測と生徒モデルの代理データに対するL2差を最小化して、コンパクトなf'(x)を得る。
• サポートベクターに局所的にアクセスが必要なモデルに対する蒸留のプライバシー利点を論じる。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル学習を用いたワンショットフェデレーションは、反復的な通信ラウンドなしで競争力のあるグローバル性能を達成できるか？
• RQ2 CVベース、データベース、ランダム戦略によるアンサンブル選択は、局所的に学習したモデルと比較してグローバル性能を改善するのにどれだけ効果的か？
• RQ3 ラベルなしの代理データに対する蒸留は、通信を減らしつつアンサンブルの性能を保持または向上させるか？
• RQ4 非 IID デバイスデータを含む実データセット上での実用的な利得と制限は何か？

主な発見

データセット	総サンプル数（デバイス）	デバイス最小/最大
EMNIST	406,048 (3,462)	10/460
Sent140	161,966 (4,000)	21/345
Gleam	2,469 (38)	33/99

• アンサンブル手法は、評価されたデータセット全体で一貫して局所ベースラインを上回る。
• 選択されたアンサンブル（CV、データ、ランダム戦略を用いたもの）は、全体アンサンブルを上回ることが多いが、Gleamではデバイス数が少ない場合を除く。
• データセット全体で、本手法は局所ベースラインに対して平均相対ROC-AUCで51.5%のゲインを達成する。
• アンサンブルアプローチは、到達不能なグローバル理想分類器の90.1%にまで近づく。
• 代理データを用いた半教師あり設定では、蒸留モデルは比較的少ない代理サンプルでアンサンブルの性能を近似できる。
• 蒸留は生データ共有の必要性を減らすことにより、プライバシーに優しい利点も提供する。