[論文レビュー] Practical One-Shot Federated Learning for Cross-Silo Setting

Qinbin Li, Bingsheng He+1 more|arXiv (Cornell University)|Oct 2, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用数 7

ひとこと要約

本稿では、モデル市場などのクロスシロ設定において、任意の分類モデルを1回の通信ラウンドで訓練できる実用的なワンショット分散学習アルゴリズムであるFedKTを提案する。本手法は、公開の未ラベル付きデータからの知識伝達を活用し、6.5%の精度向上（FedDFなどベースラインより）を達成し、例レベルおよびパーティーレベルの微分プライバシーを最小限の精度損失でサポートする。これにより、実世界のモデル市場に適した仕組みとなる。

ABSTRACT

Federated learning enables multiple parties to collaboratively learn a model without exchanging their data. While most existing federated learning algorithms need many rounds to converge, one-shot federated learning (i.e., federated learning with a single communication round) is a promising approach to make federated learning applicable in cross-silo setting in practice. However, existing one-shot algorithms only support specific models and do not provide any privacy guarantees, which significantly limit the applications in practice. In this paper, we propose a practical one-shot federated learning algorithm named FedKT. By utilizing the knowledge transfer technique, FedKT can be applied to any classification models and can flexibly achieve differential privacy guarantees. Our experiments on various tasks show that FedKT can significantly outperform the other state-of-the-art federated learning algorithms with a single communication round.

研究の動機と目的

• モデル市場などのクロスシロ設定において、複数ラウンドの協働が困難な状況で、多ラウンド分散学習が現実的でない問題に対処する。
• 特定のモデルアーキテクチャ（例：SVM や MLP）に限定される既存のワンショット分散学習手法の制限を克服し、プライバシー保証を備える。
• 実世界の展開に適した、汎用的かつプライバシーを保証するワンショット分散学習フレームワークを、多様な分類モデルに適用可能に開発する。
• 微分プライバシーを用いた知識伝達により、例レベルおよびパーティーレベルの強力なプライバシー保護を実現する。

提案手法

• 複数の教師モデル（私的データで訓練）と、公開の未ラベル付きデータを用いて学生モデルを蒸留により訓練する二段階の知識伝達フレームワークを活用する。
• 参加パーティの私的モデルと公開データからの知識を用いて、グローバルな学生モデルを知識蒸留により訓練する。
• 知識伝達プロセスに微分プライバシーを導入し、蒸留中にモデル出力に適切にスケーリングされたノイズを追加することで、例レベルおよびパーティーレベルのプライバシーを保証する。
• モデル固有の最適化から知識伝達を分離することで、ニューラルネットワークや決定木などの任意の分類モデルをサポートする。
• 調整可能なノイズスケール（γ）とクエリレートを用いてプライバシー予算を制御し、プライバシーと精度のトレードオフを調整可能にする。
• FedProxなどの反復的アルゴリズムの強力な初期化としてFedKTを活用することで、複数ラウンドへの拡張を可能にし、通信効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 特定のアーキテクチャ（例：MLP や SVM）に限定されず、任意の分類モデルで動作するワンショット分散学習アルゴリズムを設計できるか？
• RQ2 個々のデータ例とクライアント全体の貢献両方を保護するため、微分プライバシーをワンショット分散学習フレームワークに効果的に統合できるか？
• RQ3 異なるプライバシー予算と公開データセットサイズの下で、提案手法の精度とプライバシーのトレードオフはどのようになるか？
• RQ4 FedKTは反復的分散学習の初期化として効果的であるか？収束に必要な通信ラウンド数を削減できるか？
• RQ5 特に低データ環境下で、公開の未ラベル付きデータセットのサイズが小さくなった場合、FedKTの性能はどの程度安定するか？

主な発見

• FedKTは最先端のワンショット手法と比較して顕著に高いテスト精度を達成し、MNISTではFedDFより最大6.5%、PNFMより25%高い。1回の通信ラウンドで実現。
• Adultデータセットでは、FedKT-L1がε = 2.59、δ = 10⁻⁵の条件下で77.6%の精度を達成し、非プライベートベースライン（82.4%）に近い性能を示した。
• 公開データセットの20%程度のデータでも高い性能を維持：cod-rnaでは1%未満、MNISTでは2%の低下にとどまり、小規模な公開データに対してもロバストであることが示された。
• 微分プライバシーを適用したFedKT（FedKT-L1/L2）は、やや高いプライバシー予算（ε < 10）の下で、非プライベート版と同等の精度を達成し、わずかな精度低下にとどまった。
• FedKT-Proxとして複数ラウンドに拡張した場合、11ラウンドで87%の精度に収束し、他の手法が最低32ラウンドを要するのに対し、優れた性能を発揮した。
• FedKTは、任意の分類モデルをサポートし、例レベルおよびパーティーレベルの両方で形式的なプライバシー保証を提供する最初のワンショット分散学習フレームワークである。