[論文レビュー] Learning the Unlearnable: Adversarial Augmentations Suppress Unlearnable Example Attacks

Tianrui Qin, Xitong Gao+3 more|arXiv (Cornell University)|Mar 27, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、敵対的摂動によって形成されるアンラーニングショートカットを抑えるために、誤差最大化型データ拡張を用いる、unlearnable example 攻撃に対する新規な防御手法 UEraser を提案する。従来の ℓp 界隈の摂動に限定された敵対的訓練とは異なり、UEraser はこれらの制約を超えた自然で現実的な拡張を活用し、最小限の精度損失で最先端の性能を達成する—アンラーニング可能 CIFAR-10 データにおいて 95.24% のテスト精度を回復し、クリーン学習の結果にほぼ一致する。

ABSTRACT

Unlearnable example attacks are data poisoning techniques that can be used to safeguard public data against unauthorized use for training deep learning models. These methods add stealthy perturbations to the original image, thereby making it difficult for deep learning models to learn from these training data effectively. Current research suggests that adversarial training can, to a certain degree, mitigate the impact of unlearnable example attacks, while common data augmentation methods are not effective against such poisons. Adversarial training, however, demands considerable computational resources and can result in non-trivial accuracy loss. In this paper, we introduce the UEraser method, which outperforms current defenses against different types of state-of-the-art unlearnable example attacks through a combination of effective data augmentation policies and loss-maximizing adversarial augmentations. In stark contrast to the current SOTA adversarial training methods, UEraser uses adversarial augmentations, which extends beyond the confines of $ \ell_p $ perturbation budget assumed by current unlearning attacks and defenses. It also helps to improve the model's generalization ability, thus protecting against accuracy loss. UEraser wipes out the unlearning effect with error-maximizing data augmentations, thus restoring trained model accuracies. Interestingly, UEraser-Lite, a fast variant without adversarial augmentations, is also highly effective in preserving clean accuracies. On challenging unlearnable CIFAR-10, CIFAR-100, SVHN, and ImageNet-subset datasets produced with various attacks, it achieves results that are comparable to those obtained during clean training. We also demonstrate its efficacy against possible adaptive attacks. Our code is open source and available to the deep learning community: https://github.com/lafeat/ueraser.

研究の動機と目的

• データを汚染してモデルの学習を妨げつつもプライバシーを保持するという、増大するアンラーニング例攻撃の脅威に対処すること。
• 特に敵対的訓練との比較において、データ拡張がアンラーニング汚染に対して効果的でないという仮定に挑戦すること。
• ℓp-摂動制約を超えて拡張され、敵対的訓練で一般的に見られる精度損失を回避する防御メカニズムを開発すること。
• 適応的攻撃に対する耐性を評価し、多様な拡張ポリシーがモデル性能の回復にどの程度効果を発揮するかを検討すること。

提案手法

• UEraser は、現在のアンラーニング攻撃が想定する ℓp 摂動境界を超えて拡張を適用する誤差最大化型データ拡張を採用し、アンラーニングショートカットを崩壊させる。
• 確率 0.5 でランダムに選択される複数の自然なデータ拡張ポリシー（PlasmaBrightness, PlasmaContrast, ChannelShuffle, TrivialAugment）を組み合わせて使用する。
• 訓練中に敵対的拡張を繰り返しサンプリング（K 回）することで、汚染済み例における誤差を最大化し、耐性を強化する。
• 軽量版である UEraser-Lite（K=1）は敵対的サンプリングを省略するが、依然として高いクリーン精度を達成し、高負荷計算を伴わずに有効性を示す。
• 標準的な拡張ライブラリ（Kornia）とデフォルトのハイパーパrameter を使用することで、互換性と再現性を確保する。
• UEraser は、分布を保ちつつ現実的な変換を適用することで、分布外の摂動を避けることで、モデルの一般化性能を向上させることを目的としている。

実験結果

リサーチクエスチョン

• RQ1 ℓp 摂動境界を超えるデータ拡張戦略は、アンラーニング例攻撃に対して効果的に防御できるか？
• RQ2 誤差最大化拡張は、アンラーニング攻撃下でのモデル精度保持において、従来の敵対的訓練を上回るか？
• RQ3 敵対的訓練で一般的に見られる精度損失を回避しつつ、効果的かつ効率的な防御メカニズムを構築できるか？
• RQ4 適応的攻撃に対して UEraser はどの程度耐性を示すか？
• RQ5 自然で現実的な拡張は、アンラーニングデータ上でどの程度モデル性能を回復できるか？

主な発見

• EM 攻撃（ℓ∞ = 8/255）で生成されたアンラーニング可能 CIFAR-10 データにおいて、UEraser は 95.24% のテスト精度を達成し、クリーン学習の 95.36% にほぼ一致する。
• K=1 のみを用いる UEraser-Lite は 90.78% の精度を達成し、敵対的訓練や画像ショートカット圧縮などのベースライン防御を著しく上回る。
• 拡張サンプリングの反復回数（K）を増やすことで防御性能が向上し、UEraser-Max において K=10 で 94.06% の精度を達成した。これはスケーラビリティを示している。
• UEraser は、CIFAR-100、SVHN、ImageNet-subset といった複数のデータセットにおいて、5 つの最先端のアンラーニング攻撃に対して高い性能を維持する。
• UEraser は適応的攻撃に対しても耐性を示し、敵対的訓練や画像ショートカット圧縮といった既存の防御を上回る精度保持性能を示す。
• 標準的な敵対的訓練で見られる精度損失を回避する一方で、分布外の摂動を導入せず、モデルの一般化性能を向上させる。