[論文レビュー] Local and Central Differential Privacy for Robustness and Privacy in Federated Learning

Mohammad Naseri, Jamie Hayes+1 more|arXiv (Cornell University)|Sep 8, 2020

Privacy-Preserving Technologies in Data被引用数 33

ひとこと要約

本論文は分散学習における局所差分プライバシー（LDP）と中央差分プライバシー（CDP）を評価し、バックドア攻撃、メンバーシップ推定攻撃、特性推定攻撃に対する有効性と、プライバシーと有用性のトレードオフを分析する。

ABSTRACT

Federated Learning (FL) allows multiple participants to train machine learning models collaboratively by keeping their datasets local while only exchanging model updates. Alas, this is not necessarily free from privacy and robustness vulnerabilities, e.g., via membership, property, and backdoor attacks. This paper investigates whether and to what extent one can use differential Privacy (DP) to protect both privacy and robustness in FL. To this end, we present a first-of-its-kind evaluation of Local and Central Differential Privacy (LDP/CDP) techniques in FL, assessing their feasibility and effectiveness. Our experiments show that both DP variants do d fend against backdoor attacks, albeit with varying levels of protection-utility trade-offs, but anyway more effectively than other robustness defenses. DP also mitigates white-box membership inference attacks in FL, and our work is the first to show it empirically. Neither LDP nor CDP, however, defend against property inference. Overall, our work provides a comprehensive, re-usable measurement methodology to quantify the trade-offs between robustness/privacy and utility in differentially private FL.

研究の動機と目的

• LDPとCDPがFLモデルをバックドア攻撃から防御しつつ有用性を維持できるかを評価する。
• LDPとCDPがFLにおけるメンバーシップ推定攻撃を緩和するかを評価する。
• LDPとCDPがFLに対する特性推定攻撃から防御できるかを評価する。
• DP有効なFLにおけるプライバシー・堅牢性・有用性のトレードオフを定量化する再利用可能な方法論を提供する。

提案手法

• FLにおけるDPの変種を形式化する：アップデータにノイズを付与する局所DP（LDP）と、集計をサーバが撹乱する中央DP（CDP）。
• 勾配を制限しモーメントアカウンタを用いてノイズを加えるDP機構としてDP-SGDをLDP用に実装する。
• CDP用にサーバサイドのクリッピングとガウスノイズを更新に適用し、モーメントアカウンタでプライバシー予算を追跡する。
• 複数のデータセット（EMNIST、CIFAR10、Reddit-comments、Sentiment140）と攻撃シナリオ（バックドア、ホワイトボックスのメンバーシップ推定、特性推定）にわたって防御を評価する。
• 先行研究のノルム制限および弱いDP防御とDPベースの防御を比較し、堅牢性・プライバシー・有用性のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 DP（LDPおよびCDP）はFLにおけるバックドア攻撃を緩和しつつ有用性を維持できるか？
• RQ2 LDPとCDPはFLにおけるホワイトボックスのメンバーシップ推定攻撃に対する保護を過度な有用性の損失なしに提供できるか？
• RQ3 LDPとCDPはFLに対する特性推定攻撃に対して効果的か？
• RQ4 多様なタスクとデータセットにわたってDP対応FLの堅牢性・プライバシー・有用性のトレードオフを定量化する測定フレームワークは何か？

主な発見

• LDPとCDPの双方はバックドア攻撃に対して防御を提供するが、保護と有用性のトレードオフは設定によって異なり、いくつかの設定で先行防御を上回る。
• バックドア対策として攻撃者以外の参加者にのみLDPを適用すると、逆にバックドアの有効性を高めてしまう可能性がある。
• LDPとCDPはホワイトボックスのメンバーシップ推定攻撃も緩和し、多くの場合で有用性の損失が限定的である。
• LDPは特性推定には防御を提供しない。CDPは理論的には防御可能だが、しばしば大幅な有用性コストを伴う。
• EMNISTで参加者2,400人、ラウンドごと1 attackerの場合、LDP（ε=3）はバックドア精度を88%から10%に、CDP（ε=3）は6%にまで低下させ、主要タスクの有用性損失は限定的。
• ノルム制限や弱いDPと比較して、DPベースの防御は、いくつかのデータセットで競争力のあるまたはより良い堅牢性とともにより強力なプライバシー保証を提供する。