[論文レビュー] DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with Differentially Private Data Augmentations

Eitan Borgnia, Jonas Geiping+7 more|arXiv (Cornell University)|Mar 2, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用数 17

ひとこと要約

本稿では、mixupデータ拡張とラプラスノイズを組み合わせることで、差分プライバシーとデータ汚染およびバックドア攻撃に対する耐性を証明可能に向上させる新しい防御手法、DP-InstaHideを提案する。k-way mixupを活用することで、標準的な差分プライバシー訓練に比べて少なくともk倍の強固なプライバシー保証が達成され、高いモデル精度を維持しつつ、既存の防御を実験的に上回る性能を発揮する。

ABSTRACT

Data poisoning and backdoor attacks manipulate training data to induce security breaches in a victim model. These attacks can be provably deflected using differentially private (DP) training methods, although this comes with a sharp decrease in model performance. The InstaHide method has recently been proposed as an alternative to DP training that leverages supposed privacy properties of the mixup augmentation, although without rigorous guarantees. In this work, we show that strong data augmentations, such as mixup and random additive noise, nullify poison attacks while enduring only a small accuracy trade-off. To explain these finding, we propose a training method, DP-InstaHide, which combines the mixup regularizer with additive noise. A rigorous analysis of DP-InstaHide shows that mixup does indeed have privacy advantages, and that training with k-way mixup provably yields at least k times stronger DP guarantees than a naive DP mechanism. Because mixup (as opposed to noise) is beneficial to model performance, DP-InstaHide provides a mechanism for achieving stronger empirical performance against poisoning attacks than other known DP methods.

研究の動機と目的

• ウェブスクラップされたデータを用いて学習される機械学習システムにおける、増加するデータ汚染およびバックドア攻撃の脅威に対処すること。
• これまで形式的なプライバシー根拠のないデータ拡張手法（例：mixup）に対して、きめ細やかな差分プライバシー保証を提供すること。
• mixupと追加ノイズの組み合わせにより、防御学習におけるロバストネスと精度のトレードオフを改善し、標準的な差分プライバシー手法を上回ること。
• 強力なデータ拡張が本質的にプライバシーの利点をもたらすことを示し、最小限の性能低下で証明可能な防御を可能にすること。

提案手法

• 本手法はk-way mixupを導入し、各訓練サンプルをデータセット内のk個のランダムなデータポイントの凸結合として定義することで、データを単位超立方体の中心付近に集中させる。
• 混合サンプルにラプラスノイズを追加し、差分プライバシーを確保する。ノイズスケールは、所望のプライバシー予算を達成するように調整される。
• 理論的分析により、k-way mixupが標準的なDPメカニズムと比較してプライバシー保証をk倍向上させることを証明し、epsilonsがk分の1に削減されることを示す。
• 本アプローチは、CutMix や MaxUp などの他の拡張法に対しても拡張可能であり、同様にノイズを追加することで耐性が向上する。
• 本手法は、差分プライバシーの合成性を活用し、複数の学習ステップおよびデータポイントを考慮する。
• 実験的評価では、CIFAR-10で訓練されたResNet-18を用い、勾配マッチング攻撃を用いて、適応的攻撃モデル下での防御効果をテストする。

実験結果

リサーチクエスチョン

• RQ1 mixup などの強力なデータ拡張が、データ汚染攻撃に対して証明可能な差分プライバシー保証を提供できるか？
• RQ2 mixup と追加ノイズを組み合わせることで、ノイズ単体よりも強いプライバシーが得られ、その強度はどの程度向上するか？
• RQ3 k-way mixup メカニズムは、標準的な差分プライバシー訓練と比較して、プライバシーと精度のトレードオフをどのように改善するか？
• RQ4 mixup のプライバシー利点は、CutMix や MaxUp などの他の拡張法に対しても拡張可能か？
• RQ5 mixup の理論的プライバシー境界は、適応的汚染攻撃に対する実験的防御性能を正確に予測できるか？

主な発見

• k-way mixup は、差分プライバシー保証を少なくともk倍向上させ、標準的なDP訓練と比較してプライバシーの予算epsilonsがk分の1に削減されることを示す。
• 理論的分析により、mixup 単体でもプライバシー上の利点が存在し、ラプラスノイズと組み合わせることで、最小限の精度コストでより強固な防御が達成されることを確認した。
• 実験結果から、ラプラスノイズ（スケール 16/255）を適用したMaxUpは、CIFAR-10における適応的勾配マッチング汚染攻撃を完全に無効化することが分かった。
• 定理2から導出された理論的プライバシー境界は、実験的防御性能をよく予測しており、モデルの信頼性を裏付ける。
• 本手法は、ロバストネスと精度の両面で標準的なDP訓練を上回り、実用的導入に適した有益なトレードオフを示した。
• mixup のプライバシー利点は、形式的保証がなく、後に破壊された元のInstaHide手法を超えて適用可能である。