[論文レビュー] Practical and Bilateral Privacy-preserving Federated Learning

Yan Feng, Xue Yang+3 more|arXiv (Cornell University)|Feb 23, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用数 11

ひとこと要約

本論文は、クライアントの生データおよびモデルの反復更新／パラメータの漏洩を両方保護する最初の二重プライバシー保護型フェデレーテッドラーニング方式を提案する。効率的なマスキング技術を用いてグローバルモデルを暗号化し、クライアントはノイズの多いバージョンで学習を行うが、正確な更新モデルを再構築できるのはサーバーのみである。これにより、通信オーバーヘッドを最小限に抑えつつ、標準のフェデレーテッドラーニングと同等の精度を達成する強力なプライバシー保護が実現される。

ABSTRACT

Federated learning, as an emerging distributed training model of neural networks without collecting raw data, has attracted widespread attention. However, almost all existing researches of federated learning only consider protecting the privacy of clients, but not preventing model iterates and final model parameters from leaking to untrusted clients and external attackers. In this paper, we present the first bilateral privacy-preserving federated learning scheme, which protects not only the raw training data of clients, but also model iterates during the training phase as well as final model parameters. Specifically, we present an efficient privacy-preserving technique to mask or encrypt the global model, which not only allows clients to train over the noisy global model, but also ensures only the server can obtain the exact updated model. Detailed security analysis shows that clients can access neither model iterates nor the final global model; meanwhile, the server cannot obtain raw training data of clients from additional information used for recovering the exact updated model. Finally, extensive experiments demonstrate the proposed scheme has comparable model accuracy with traditional federated learning without bringing much extra communication overhead.

研究の動機と目的

• クライアントのデータプライバシーのみが保護されているが、モデルの更新や最終パラメータが露出されているフェデレーテッドラーニングにおけるギャップを埋める。
• 信頼できないクライアントおよび外部の攻撃者が学習中の機微なモデル情報を推測できないようにする。
• 補助情報を利用してモデル更新を回復する際でさえ、サーバーが生のクライアントデータにアクセスできないようにする。
• モデルの精度を維持しつつ、通信および計算オーバーヘッドを最小限に抑えた実用的な方式を設計する。

提案手法

• フェデレーテッドラーニングの訓練中にグローバルモデルをマスクまたは暗号化するための新しいプライバシー保護技術を提案する。
• クライアントが正確なモデルパラメータを観測できないように、ノイズの多いグローバルモデルのバージョンで学習を可能にする。
• 補助情報を使ってのみ、サーバーが正確な更新モデルを再構築できるようにする。
• 暗号化マスキングを用いて、中間的および最終的なモデル状態を露呈せずに安全にモデル更新を計算可能にする。
• 最小限の変更で、標準のフェデレーテッドアベレージフレームワークにマスキングメカニズムを統合する。
• 既存のフェデレーテッドラーニングシステムとの互換性を維持しつつ、プライバシー保証を強化する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングシステムは、クライアントおよび外部の攻撃者に対して、クライアントのデータとモデルパラメータの両方を同時に保護できるか？
• RQ2 信頼できないクライアントがモデルの反復更新や最終的なモデル重みを隠す方法は何か？ ただし、学習精度に悪影響を与えないようにする。
• RQ3 データに加えてモデル情報も保護する場合、通信および計算オーバーヘッドはどの程度か？
• RQ4 補助情報を利用して正確なモデル更新を再構築する際、サーバーは生のクライアントデータを学習できないか？

主な発見

• 提案手法は、標準のフェデレーテッドラーニングと同等のモデル精度を達成しており、性能に顕著な低下はない。
• プライバシー保護メカニズムによって引き起こされる通信オーバーヘッドは、最小限に抑えられ、ベースラインのフェデレーテッドラーニングと同等の水準である。
• クライアントはモデルの反復更新や最終的なグローバルモデルにアクセスできない。彼らが受信するのは、マスキングされたモデルのバージョンにすぎない。
• サーバーは、正確なモデル更新を回復するために使用する補助情報から、生のトレーニングデータを推測できない。
• セキュリティ解析により、信頼できない当事者に対するクライアントのデータおよびモデルパラメータの漏洩が保護されていることが確認された。