[論文レビュー] Robustness Threats of Differential Privacy

Nurislam Tursynbek, Aleksandr Petiushko+1 more|arXiv (Cornell University)|Dec 14, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用数 4

ひとこと要約

本稿は、深層学習における微分プライバシー（DP）とモデルの頑健性のトレードオフを調査し、DP-SGDトレーニングがプライバシーを向上させる一方で、 adversarial 攻撃やデータの汚染に対して頑健性を低下させることを示している。驚くべきことに、特に勾配クリッピングの上限が大きい場合、ノイズによる最適化の利点のおかげで、DPが頑健性を向上させる場合もある。

ABSTRACT

Differential privacy (DP) is a gold-standard concept of measuring and guaranteeing privacy in data analysis. It is well-known that the cost of adding DP to deep learning model is its accuracy. However, it remains unclear how it affects robustness of the model. Standard neural networks are not robust to different input perturbations: either adversarial attacks or common corruptions. In this paper, we empirically observe an interesting trade-off between privacy and robustness of neural networks. We experimentally demonstrate that networks, trained with DP, in some settings might be even more vulnerable in comparison to non-private versions. To explore this, we extensively study different robustness measurements, including FGSM and PGD adversaries, distance to linear decision boundaries, curvature profile, and performance on a corrupted dataset. Finally, we study how the main ingredients of differentially private neural networks training, such as gradient clipping and noise addition, affect (decrease and increase) the robustness of the model.

研究の動機と目的

• 微分プライバシー（DP-SGD）を用いた深層ニューラルネットワークのトレーニングが、 adversarial 攻撃およびデータの汚染に対するモデルの頑健性を損なうかどうかを調査すること。
• 勾配クリッピングとノイズ追加というDP-SGDの主要な要素がモデルの頑健性に与える影響を分析すること。
• プライバシーと頑健性のトレードオフが根本的なものなのか、それともハイパーパrameterの変化に応じて状況に依存するものなのかを特定すること。
• プライバシーと頑健性の両方が同時に向上する条件を探索し、それらの間には本質的な対立関係があるという仮定に疑問を呈すること。

提案手法

• FGSMおよびPGD攻撃の成功率、 adversarial 失敗までの反復回数、ℓ₂およびℓ∞ノルムにおける意思決定境界までの距離、曲率プロファイル、および汚染されたMNISTデータにおける性能の5つの指標を用いて、頑健性を実験的に評価する。
• さまざまなクリッピング上限（C）とノイズスケール（σ）を用いたDP-SGDでMNIST上に畳み込みニューラルネットワークをトレーニングし、頑健性とプライバシーのトレードオフを体系的に測定する。
• 勾配クリッピングとノイズ追加の個別的影響を分析することで、それらが頑健性に与える寄与を分解する。
• 個々の例に対する勾配クリッピングとガウスノイズの注入を用いたDP-SGDアルゴリズムを用い、(ε, δ)-微分プライバシーを保証する。
• 断面図による可視化を通じて、標準的なSGDとDP-SGDモデルの間で意思決定境界の幾何的変化を定性的に比較する。
• 勾配ノイズ（N(0, σ²C²I)）が最適化に与える役割を分析し、深層ネットワークにおける一般化および頑健性の向上に寄与する可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 DP-SGDによるトレーニングは、深層ニューラルネットワークの adversarial 例および一般的なデータ汚染に対する頑健性を低下させるか？
• RQ2 DP-SGDの中心的要素である勾配クリッピングとノイズ追加は、モデルの頑健性にどのように影響するか？
• RQ3 もしあるならば、微分プライバシーがモデルの頑健性を低下させるのではなく向上させる条件は何か？
• RQ4 プライバシーと頑健性のトレードオフは根本的な制限であるのか、それとも両者が共存するハイパーパrameterの領域が存在するのか？
• RQ5 勾配ノイズの大きさ（C²に比例）は、頑健性にどのように影響するのか。また、プライバシー予算とどのように相互作用するのか？

主な発見

• DP-SGDトレーニングは、ほとんどの設定においてFGSMおよびPGD攻撃に対する頑健性を低下させ、 adversarial 例において顕著な精度低下が観察された。
• DP-SGDでは、最近接するℓ₂およびℓ∞意思決定境界までの距離が短縮され、意思決定境界の幾何的構造がより壊れやすく弱体化していることが示された。
• DP-SGDモデルの曲率プロファイルは、局所的な曲率が増加しており、意思決定面がより敏感で不安定であることを示唆している。
• 汚染されたMNISTデータに対する性能はDP-SGDで低下し、一般的な汚染に対する頑健性の低下が確認された。
• 十分に大きなクリッピング上限（C = 3.0）を用いることで、FGSM頑健性に予期しない「プラトー」が現れ、Cをさらに大きくすると頑健性が向上するようになることがわかった。これは非単調なトレードオフを示している。
• 大きな勾配ノイズ（大きなCに起因）は、頑健性を向上させる可能性があり、プライバシーに起因する脆弱性を相殺する有益な最適化効果があると考えられる。