[論文レビュー] Local Differential Privacy for Federated Learning

M.A.P. Chamikara, Dongxi Liu+5 more|arXiv (Cornell University)|Feb 12, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、クロスシロ産業的環境におけるフェデレーテッドラーニングのための、新たな局所的微分プライバシー（LDP）フレームワークLDPFLを提案する。モデル重みではなく、1次元にフラット化された中間特徴ベクトルにランダム化応答と最適化されたユニタリ符号化を適用することにより、LDPFLはきびしいプライバシー予算（例：ε = 0.5）下でも高いモデル効用（最大98％の精度）を達成し、既存のLDPおよびGDP手法よりもプライバシーと効用のトレードオフにおいて優れている。

ABSTRACT

Advanced adversarial attacks such as membership inference and model memorization can make federated learning (FL) vulnerable and potentially leak sensitive private data. Local differentially private (LDP) approaches are gaining more popularity due to stronger privacy notions and native support for data distribution compared to other differentially private (DP) solutions. However, DP approaches assume that the FL server (that aggregates the models) is honest (run the FL protocol honestly) or semi-honest (run the FL protocol honestly while also trying to learn as much information as possible). These assumptions make such approaches unrealistic and unreliable for real-world settings. Besides, in real-world industrial environments (e.g., healthcare), the distributed entities (e.g., hospitals) are already composed of locally running machine learning models (this setting is also referred to as the cross-silo setting). Existing approaches do not provide a scalable mechanism for privacy-preserving FL to be utilized under such settings, potentially with untrusted parties. This paper proposes a new local differentially private FL (named LDPFL) protocol for industrial settings. LDPFL can run in industrial settings with untrusted entities while enforcing stronger privacy guarantees than existing approaches. LDPFL shows high FL model performance (up to 98%) under small privacy budgets (e.g., epsilon = 0.5) in comparison to existing methods.

研究の動機と目的

• 信頼できないクライアントとサーバーを伴う産業的クロスシロ環境において、スケーラブルでプライバシーを保証するFLメカニズムの不足に応えること。
• 既存のLDPアプローチの限界、特に小さなプライバシー予算下での低い効用と、高次元のモデルパラメータの非効率な取り扱いを克服すること。
• 信頼できるキュレーターまたはアグリゲーターに依存しないことで、グローバルDP手法よりも強いプライバシー保証を実現すること。
• モデル重みではなく中間特徴表現にLDPを適用することにより、フェデレーテッドラーニングにおけるプライバシーと効用のトレードオフを改善すること。
• 医療やスマート農業など、データが分散されておりプライバシーが極めて重要な実世界の応用に、実用的で効率的かつ頑健なソリューションを提供すること。

提案手法

• LDPFLは、ローカルに訓練された深層ニューラルネットワークの中間出力から得られる1次元フラット化ベクトルに、局所的微分プライバシーを適用する。モデルパラメータそのものを摂動するのではなく、中間特徴に注目する。
• 入力レベルでの微分プライバシーを保証するために、2つのLDPメカニズム—ランダム化応答（RR）と最適化ユニタリ符号化（OUE）—を用いる。
• ランダム化された1次元ベクトル上で、2番目の全結合DNNを訓練することで、プライバシーを保持しつつも効果的な学習を可能にする。
• アーキテクチャは、特徴抽出用のCNNと分類用のDNNにクライアントモデルを分離し、特徴フラット化の後にランダム化レイヤーを適用する。
• プライバシー予算（ε）を特徴表現に集中させることで、重みレベルの摂動と比較してノイズの影響を低減し、効率的に適用できる。
• データがクライアントのデバイスから生の形で外出しないこと、またランダム化された特徴のみが共有されることから、信頼できないクライアントとサーバーをサポートする。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける中間特徴表現に、局所的微分プライバシー機構を効果的に適用することで、きびしいプライバシー予算下でも効用を向上させることができるか？
• RQ2 LDPFLは、グローバルDPおよびローカルDPの既存手法と比較して、モデル精度およびプライバシーと効用のトレードオフにおいてどのように差をつけるか？
• RQ3 εが0.5にまで低く抑えられても（DPにおいて極めてきびしいとされる）、LDPFLは高いモデル性能（例：95％以上の精度）を維持できるか？
• RQ4 重みレベルではなく特徴レベルにLDPを適用することで、ディープラーニングベースのFLにおけるより良いプライバシーと効用のバランスが達成できるか？
• RQ5 LDPFLは、信頼できないクロスシロ環境（例：医療やスマート農業）に、信頼できるサーバーを必要とせずに効果的に展開可能か？

主な発見

• CIFAR10およびSVHNデータセットにおいて、LDPFLはきびしいプライバシー予算ε = 0.5下でも最大98％のテスト精度を達成し、強いプライバシー制約下でも高い効用を示した。
• α-CLDP-FedやDPSGDといった既存のLDPベースのFLアプローチと比較して、精度およびプライバシーと効用のバランスの両面で優れており、特にεが低い値のとき顕著に優位性を示した。
• モデル重みではなく中間特徴をランダム化することで、高次元パラメータ行列へのノイズ負荷を軽減し、モデルの収束性と性能が向上した。
• 最適化ユニタリ符号化（OUE）とランダム化応答（RR）の併用により、十分なビットレベルの情報が保持されたまま、効果的なプライバシー保証が可能になった。
• ベンチマークでは、高効用が求められる厳密なプライバシー設定下で、SMC、GDP、および他のLDP手法よりもLDPFLが好まれる傾向が示された。
• MNIST、FMNIST、CIFAR10、SVHNといったさまざまなデータセットに適応可能で、異なる入力解像度やモデル構成に対しても一貫した性能を発揮した。