[論文レビュー] Federated Model Distillation with Noise-Free Differential Privacy

Lichao Sun, Lingjuan Lyu|arXiv (Cornell University)|Sep 11, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用数 25

ひとこと要約

本稿では、プライベートデータのランダムサンプリングを活用することで、明示的なノイズ追加を不要にし、ノイズフリー微分プライバシー（NFDP）を達成するフェデレーテッドモデル distillation フレームワークである FedMD-NFDP を提案する。この手法は、サンプリングそのものによって $(\epsilon,\delta)$-微分プライバシーを保証し、プライバシーの強化と最小限のユーティリティ損失、および異種のモデルアーキテクチャやデータ分布において高い通信効率を実現する。

ABSTRACT

Conventional federated learning directly averages model weights, which is only possible for collaboration between models with homogeneous architectures. Sharing prediction instead of weight removes this obstacle and eliminates the risk of white-box inference attacks in conventional federated learning. However, the predictions from local models are sensitive and would leak training data privacy to the public. To address this issue, one naive approach is adding the differentially private random noise to the predictions, which however brings a substantial trade-off between privacy budget and model performance. In this paper, we propose a novel framework called FEDMD-NFDP, which applies a Noise-Free Differential Privacy (NFDP) mechanism into a federated model distillation framework. Our extensive experimental results on various datasets validate that FEDMD-NFDP can deliver not only comparable utility and communication efficiency but also provide a noise-free differential privacy guarantee. We also demonstrate the feasibility of our FEDMD-NFDP by considering both IID and non-IID setting, heterogeneous model architectures, and unlabelled public datasets from a different distribution.

研究の動機と目的

• モデルの予測値を共有することで学習データが露呈する可能性があるフェデレーテッドモデル distillation におけるプライバシー漏洩リスクに対処すること。
• 予測値に微分プライバシー用ノイズを追加することに起因する、プライバシーとユーティリティのトレードオフを克服すること。
• 明示的なノイズ注入なしに、ランダムサンプリングによって内在的にプライバシーを保証するノイズフリー微分プライバシー機構の開発。
• 異種のモデルアーキテクチャや非IIDデータ分布においても、強力なプライバシーを維持しながらフェデレーテッドモデル distillation を可能にすること。
• 実世界の FL 環境、特に少数のサンプルや半教師あり学習における NFDP の実現可能性と有効性を示すこと。

提案手法

• プライベートデータのランダムサンプリングに依存する、新しいノイズフリー微分プライバシー（NFDP）メカニズムを提案し、モデル予測へのノイズ追加を不要にする。
• クライアントがモデル重みの代わりに、公開のラベルなしデータセット上の蒸留された予測値を共有するフェデレーテッドモデル distillation（FedMD）に NFDP を適用する。
• 復元抽出および非復元抽出の両方の戦略を用いて、NFDP が $(\epsilon,\delta)$-微分プライバシーを満たすことを形式的に証明する。
• 二段階の訓練プロセスを採用：まず各クライアントが、公開データセット上の公開ロジットに自身のモデルをあわせる。次に、プライベートデータ上でファインチューニングを行う。
• サンプリングによるプライバシー強化効果を活用し、通信ラウンドごとに少数のプライベートサンプルのみを用いることで、プライバシー予算を厳密に制御する。
• NFDP メカニズムをフェデレーテッド distillation パイプラインに統合し、サーバーに共有される予測値がプライバシー的に保護されていることを保証するとともに、パフォーマンスの低下を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 プライベートデータのランダムサンプリングのみで、フェデレーテッドモデル distillation において理論的に妥当な微分プライバシー保証を達成できるか？
• RQ2 提案されたノイズフリー微分プライバシー（NFDP）メカニズムは、明示的なノイズ追加を排除しつつも、強力なプライバシーとユーティリティを維持できるか？
• RQ3 既存のノイズベースのプライバシーを備えたフェデレーテッドラーニング手法と比較して、FedMD-NFDP は非IIDおよび異種モデル設定でどのように性能を発揮するか？
• RQ4 NFDP は、少数のプライベートサンプルしか利用できない少数のサンプルや半教師あり学習のシナリオに対しても、効果的に適用可能か？
• RQ5 多様なデータセットおよびモデルアーキテクチャにおいて、FedMD-NFDP の通信効率とユーティリティのトレードオフはいかなるものか？

主な発見

• 提案された NFDP メカニズムは、復元抽出および非復元抽出の両方において、ノイズの追加なしに内在的に $(\epsilon,\delta)$-微分プライバシーを保証する。
• FedMD-NFDP は、クライアント1ラウンドあたり数個のプライベートサンプルしか使用しない状況でも、非プライベートベースラインと同等のモデルユーティリティを達成する。
• 本フレームワークは IID および非IIDのデータ分布の両方で強力なプライバシー保証を維持し、データの非均一性に対して高いロバストネスを示す。
• 複数のベンチマークデータセットにおける実験から、FedMD-NFDP はノイズ追加型アプローチを上回るプライバシー-ユーティリティトレードオフを達成しており、先行研究で見られたパフォーマンス劣化を回避していることが示された。
• 本手法は異種のモデルアーキテクチャおよび異なる分布からのラベルなし公開データセットをサポートしており、汎用性と実用性を確認した。
• サンプリングによる強いプライバシー強化のおかげで、本フレームワークは、少数のプライベートサンプルしか入手できない少数のサンプルや半教師あり学習タスクにも適用可能である。