[論文レビュー] Think Locally, Act Globally: Federated Learning with Local and Global Representations

Paul Pu Liang, Terrance Liu+6 more|arXiv (Cornell University)|Jan 6, 2020

Privacy-Preserving Technologies in Data被引用数 238

ひとこと要約

LG-FedAvgを提案する。これは通信を減らしつつデータの異質性と公平性を扱いながら、コンパクトな局所表現とグローバルモデルを同時に学習するフェデレーテッドラーニングフレームワークです。ビジョン、マルチモーダル、モバイルデータタスク全体で理論と広範な実験を提供します。

ABSTRACT

Federated learning is a method of training models on private data distributed over multiple devices. To keep device data private, the global model is trained by only communicating parameters and updates which poses scalability challenges for large models. To this end, we propose a new federated learning algorithm that jointly learns compact local representations on each device and a global model across all devices. As a result, the global model can be smaller since it only operates on local representations, reducing the number of communicated parameters. Theoretically, we provide a generalization analysis which shows that a combination of local and global models reduces both variance in the data as well as variance across device distributions. Empirically, we demonstrate that local models enable communication-efficient training while retaining performance. We also evaluate on the task of personalized mood prediction from real-world mobile data where privacy is key. Finally, local models handle heterogeneous data from new devices, and learn fair representations that obfuscate protected attributes such as race, age, and gender.

研究の動機と目的

• privateで分散されたデータ上の非i.i.d.分布に対する効率的なフェデレーテッドラーニングの必要性を動機づける。
• 通信を削減するために局所表現とグローバルモデルを同時に学習するフレームワークを提案する。
• 局所とグローバルのモデルを組み合わせることの一般化性能の利益を示す理論的分析を提供する。
• 画像、マルチモーダル、プライバシー対応モバイルデータセットでアプローチを実証的に検証する。
• 個人化、新規デバイスへの対応、フェアな表現の学習における能力を示す。

提案手法

• デバイス上で局所表現を同時に学習し、これらの表現を操作するグローバルモデルを共同で学習する Local Global Federated Averaging (LG-FedAvg) を導入する。
• θ_m^ℓ をパラメータとする局所エンコーダ l_m と、θ^g をパラメータとするグローバルモデル g を定義し、局所とグローバルの要素を結ぶグローバル損失 L_m^g によってエンドツーエンドで学習する。
• FedAvgのようにデータフラクション N_m/N による加重平均でデバイス間の更新済みグローバルパラメータを集約する。
• 局所表現学習のオプション（教師付きラベル y、非教師付き x、セルフスーパービジョン z）と、公平性のための敵対的拡張を説明する。
• グローバル目的を介してデバイス間で局所表現を同期させるエンドツーエンドの目的を提供する。
• f_α(x; v̂, û_m) = α f_ℓ(x; û_m) + (1−α) f_g(x; v̂) という局所とグローバルモデル間の α-補間を提示し、その一般化挙動を導出する。

実験結果

リサーチクエスチョン

• RQ1 デバイス上のコンパクトな局所表現を学習することは、グローバル通信を削減しつつ予測性能を維持または向上させるか。
• RQ2 局所モデルとグローバルモデルを組み合わせることは、データとデバイスの異質性による分散をどう変えるか。
• RQ3 LG-FedAvgは見たことのないデバイスや異質なデータを、純粋な局所または純粋なグローバルアプローチよりも上手く扱えるか。
• RQ4 局所表現を用いて保護属性を隠すことにより公平性を促進できるか。
• RQ5 デバイスとデータの分散度合いが異なる場合、局所とグローバルの最適なバランスはどれか。

主な発見

• LG-FedAvgはCIFAR-10の局所テストで純粋な局所ベースラインや純粋なグローバルベースラインを上回り、新規テスト時のFedAvgの性能に匹敵しつつ通信パラメータを約50%削減している。
• 非 iid 分割を用いたCIFAR-10で、局所変動が増大するにつれLG-FedAvgはFedAvgとマルチタスクベースラインを一貫して上回る。
• VQAでは、LG-FedAvgは局所テスト精度を高く保ちつつ通信済みパラメータを大幅に削減（9.99e10 vs 13.97e10）。
• 実世界のモバイル感情予測タスクでは、局所とグローバルモデルの α-分割が最も極端な2つのケースよりも精度が良く、共有学習による個人化が効果的であることを示す。
• 新たに回転したMNISTデバイスが出現した場合、LG-FedAvgは壊滅的フォーゲットを抑制し、オンライン適応性でFedAvgとFedProxを上回る。
• 敵対的（adv）訓練を取り入れたLG-FedAvgは保護属性への独立性を強制でき、分類器精度の小さな低下をトレードオフにしつつプライバシーを改善する。