[論文レビュー] Gradient Masking and the Underestimated Robustness Threats of Differential Privacy in Deep Learning

Franziska Boenisch, Philip Sperl+1 more|arXiv (Cornell University)|May 17, 2021

Adversarial Robustness in Machine Learning参考文献 28被引用数 8

ひとこと要約

本稿は、深層学習における微分プライバシー（DP）と敵対的ロバストネスのトレードオフを調査し、DP-SGD訓練が敵対的攻撃に対するモデルのロバストネスを低下させることを示している。DPモデルは非プライベートモデルよりも脆弱であることが明らかになり、特定のDPハイパーパrameterの選択が勾配マスキングを引き起こし、仮想的な安心感を生じさせつつも、実際には脆弱性が増加していることを示している。

ABSTRACT

An important problem in deep learning is the privacy and security of neural networks (NNs). Both aspects have long been considered separately. To date, it is still poorly understood how privacy enhancing training affects the robustness of NNs. This paper experimentally evaluates the impact of training with Differential Privacy (DP), a standard method for privacy preservation, on model vulnerability against a broad range of adversarial attacks. The results suggest that private models are less robust than their non-private counterparts, and that adversarial examples transfer better among DP models than between non-private and private ones. Furthermore, detailed analyses of DP and non-DP models suggest significant differences between their gradients. Additionally, this work is the first to observe that an unfavorable choice of parameters in DP training can lead to gradient masking, and, thereby, results in a wrong sense of security.

研究の動機と目的

• 微分プライバシー（DP）訓練が、多様な攻撃タイプに対して敵対的ロバストネスに与える影響を評価すること。
• 敵対的例が非プライベートモデルとプライベートモデルの間でどれほど効果的に転送されるかを調査すること。
• ロバストネスの差異を説明するため、DPモデルと非DPモデルの勾配の違いを分析すること。
• DP-SGDが勾配マスキングを引き起こす条件を同定し、それを検証することで、誤ったロバストネス評価を引き起こす要因を明らかにすること。
• DP訓練がプライバシー保証があるにもかかわらず、モデルのセキュリティを損なう可能性がある実証的証拠を提供すること。

提案手法

• 著者らは、異なるノイズレベルと勾配クリッピングノルムを用いて、DP-SGDを用いて多数の深層ニューラルネットワークモデルを訓練した。
• 勾配ベース、勾配フリー、最適化ベースの方法を含む包括的な敵対的攻撃スイートを用いて、ロバストネスを評価した。
• 非プライベートモデルとプライベートモデル間での敵対的例の転送性を測定し、クロスモデル攻撃の成功率を評価した。
• DPモデルと非DPモデルの勾配を分析・比較し、ロバストネスに影響を与える構造的差異を特定した。
• 勾配マスキングの存在を確認するため、既存の基準を用いて特定のDPハイパーパrameter設定での勾配マスキングの有無を検証した。
• ノイズスケールとクリップノルムの影響を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 DP-SGDによる訓練は、非プライベートモデルと比較して、深層ニューラルネットワークの敵対的ロバストネスを低下させるか？
• RQ2 非プライベートモデルとプライベートモデルの間で、敵対的例の転送性はどのように異なるか？
• RQ3 モデルの勾配は、DPモデルの脆弱性の増加を説明する上でどのような役割を果たすか？
• RQ4 どのDP-SGDハイパーパrameter設定で勾配マスキングが発生し、それがロバストネス評価を誤って誘導するか？
• RQ5 DPモデルにおける勾配マスキングは、過去の研究で報告された、一見肯定的なロバストネス結果を説明できるか？

主な発見

• 特に高いノイズレベルと大きなクリップノルムの下では、DPモデルは非プライベートモデルと比較して、敵対的攻撃に対して著しく低いロバストネスを示す。
• 敵対的例は、非プライベートモデルからプライベートモデルへの転送が、逆方向よりも効果的に発生しており、プライベートモデルが転送攻撃に対してより感受性が高いことを示している。
• DPモデル間での転送性は、プライベートモデルと非プライベートモデル間の転送性よりも高いことから、DPモデルはより多くの転送可能な敵対的特徴を共有している可能性がある。
• DP訓練は、非DPモデルと比較して、勾配の大きさが大きく、ゼロ勾配の割合も高くなる傾向にあり、これが脆弱性の増加を説明できる可能性がある。
• 特定のノイズスケールとクリップノルムの組み合わせは、意図的に勾配マスキングを引き起こし、仮想的なロバストネスの高さを生み出す。
• 本研究は、特定のハイパーパラメータ設定下でDPモデルに勾配マスキングが存在することを確認し、それがロバストネス評価における交絡要因としての役割を果たしていることを検証した。