[論文レビュー] Private Federated Learning with Domain Adaptation

Daniel Peterson, Pallika Kanani+1 more|arXiv (Cornell University)|Dec 13, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用数 57

ひとこと要約

この論文は、一般的なドメインと私的ドメイン専門家の混合を用いた各ユーザーごとのドメイン適応を伴うフェデレーテッド学習（FL+DE）を提案し、標準の DP-FL と比較して差分プライバシー下での精度を向上させる。

ABSTRACT

Federated Learning (FL) is a distributed machine learning (ML) paradigm that enables multiple parties to jointly re-train a shared model without sharing their data with any other parties, offering advantages in both scale and privacy. We propose a framework to augment this collaborative model-building with per-user domain adaptation. We show that this technique improves model accuracy for all users, using both real and synthetic data, and that this improvement is much more pronounced when differential privacy bounds are imposed on the FL model.

研究の動機と目的

• 多様なドメインを持つユーザー間でプライバシーを保護した協調モデル訓練を動機づける。
• フェデレーテッド学習におけるドメイン適応機構を導入して、ユーザーごとに予測を個別化する。
• 共有の一般モデルと各ユーザーのプライベートモデルを mixture of experts を介して結合することで、差分プライバシー下の精度が向上することを示す。
• 私的ドメイン専門家は自分のドメインに対してノイズレスな更新を可能にしつつ、グローバル学習の利点を維持することを示す。

提案手法

• 差分プライバシーを伴うフェデレーテッド学習で訓練される一般モデル M_G を定式化する。
• 各 private domain model M_Pi を M_G のコピーとして初期化し、DP ノイズなしで private data で訓練する。
• 各ユーザーに対して M_G と M_Pi の出力を結合するために、alpha_i(x) をゲーティング関数として用いる mixture of experts を使用する。
• ゲーティング重み w_i およびバイアス b_i を含むすべての成分を勾配降下法で訓練する。
• 合成回帰データと実在のスパム検知ドメイン適応データセットの両方を評価し、ベースライン、FL、そして DP 下のさまざまなノイズ設定での FL+DE を比較する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド学習における各ユーザーのドメイン適応は、多様なユーザーのドメインに対する精度を改善するか。
• RQ2 混合専門家アプローチは、差分プライバシー付きFLの精度低下を緩和できるか。
• RQ3 異なる DP ノイズレベル下で、private domain model は一般的な FL モデルとどのように相互作用するか。
• RQ4 グローバルデータにおけるユーザードメインが過少表現される場合、ドメイン適応が一般モデルの汎化に与える影響は何か。

主な発見

• FL+DE は、テストされたすべてのシナリオで、ベースラインおよび標準的な DP-FL と比較して最良の精度を達成する。
• ドメイン適応のみで実データセットで約1.3%の絶対精度向上を提供。
• 低ノイズでは DP-FL が FL+DE より精度を多く失い、ノイズが高い場合 DP-FL は 13.9%低下するのに対し、FL+DE は 0.8% の低下にとどまる。
• 合成データでは、DPノイズが増加しても FL+DE はベースラインに近づき、DP-FL は一部のユーザーで非協調的なベースラインを下回すことがある。
• ゲーティング関数は、入力空間の領域ごとに一般モデルまたは私的モデルを信頼するよう学習し、ターゲットとなるドメイン適応を可能にする。