[論文レビュー] One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks

Shutong Wu, Sizhe Chen+2 more|arXiv (Cornell University)|May 24, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、1枚の画像あたり1ピクセルを変更することで、強い、人間には感知できないショートカットを生成し、深層ニューラルネットワークの性能を著しく低下させるモデルフリーなデータ保護手法であるOne-Pixel Shortcut (OPS) を提案する。従来のグローバルノイズに基づくunlearnable examples (ULEs) とは異なり、OPSは adversarial training や強力なデータ拡張に対しても耐性を示し、adversarial training を施した後でもResNet-18ではたったの10.61%のテスト精度にまで低下させる。既存手法を上回る性能を発揮する。

ABSTRACT

Unlearnable examples (ULEs) aim to protect data from unauthorized usage for training DNNs. Existing work adds $\ell_\infty$-bounded perturbations to the original sample so that the trained model generalizes poorly. Such perturbations, however, are easy to eliminate by adversarial training and data augmentations. In this paper, we resolve this problem from a novel perspective by perturbing only one pixel in each image. Interestingly, such a small modification could effectively degrade model accuracy to almost an untrained counterpart. Moreover, our produced \emph{One-Pixel Shortcut (OPS)} could not be erased by adversarial training and strong augmentations. To generate OPS, we perturb in-class images at the same position to the same target value that could mostly and stably deviate from all the original images. Since such generation is only based on images, OPS needs significantly less computation cost than the previous methods using DNN generators. Based on OPS, we introduce an unlearnable dataset called CIFAR-10-S, which is indistinguishable from CIFAR-10 by humans but induces the trained model to extremely low accuracy. Even under adversarial training, a ResNet-18 trained on CIFAR-10-S has only 10.61% accuracy, compared to 83.02% by the existing error-minimizing method.

研究の動機と目的

• 従来のunlearnable examples (ULEs) が adversarial training やデータ拡張に対して脆弱である問題を、その学習メカニズムを再考することで解決すること。
• 深層ニューラルネットワークが、極めて局所的で意味を持たない特徴を強力なショートカットとして学習できるかどうかを調査すること。
• 計算コストを最小限に抑え、高い不顕在性を実現する軽量でモデルフリーな方法を構築し、unlearnable examples を生成すること。
• EMベースとOPSで生成された摂動を組み合わせた新しいベンチマークデータセットCIFAR-10-Sを構築し、複合ショートカットに対するモデルの耐性を評価すること。
• 局所的およびグローバルなデータ拡張の相互作用が、ショートカット学習およびモデルの一般化性能に与える影響を調査すること。

提案手法

• OPSは、すべての同クラス画像において、元のピクセル値からの乖離を最大化し、分散を最小化するように、固定されたターゲット値への摂動を加える1つのピクセル位置を特定する。
• この方法は統計的頑健性に基づき、訓練画像全体を通じてクラス間の乖離を最大化し、クラス内分散を最小化するようにピクセル位置とターゲット値を選択する。
• 摂動は、同じ空間的位置と値で、すべての同クラス画像に一様に適用され、人間には感知できない一貫性のある局所的ショートカットを形成する。
• このアプローチはモデルフリーであり、深層ニューラルネットワークの生成器を必要としないため、GAN や最適化ベースのULE手法と比較して計算コストを著しく削減できる。
• OPSは既存のEMベースのULEと組み合わせてアンサンブル手法を構築し、グローバルおよび局所的拡張に対し耐性を持つ、より強力で頑健なunlearnable examplesを生成する。
• 本手法は複数ピクセルへの拡張も可能であり、ピクセル数を増やすことでモデルの精度をさらに低下させるが、不顕在性は低下する。

実験結果

リサーチクエスチョン

• RQ1 1つのピクセルが、adversarial training に対しても耐性を持ち、DNNの一般化性能を著しく低下させる強力で安定したショートカットとして機能できるか？
• RQ2 adversarial training や Cutout を含むさまざまなデータ拡張戦略下で、OPSとEMベースのULEの有効性を比較するとどうなるか？
• RQ3 OPSとEMベースのULEを組み合わせることで、グローバルおよび局所的データ拡張に対し耐性を持つunlearnable examplesを構築できるか、その程度は？
• RQ4 ショートカット学習の文脈において、摂動を加えたピクセル数がモデルの精度低下と不顕在性に与える影響は？
• RQ5 EMとOPSの摂動を組み合わせたCIFAR-10-Sという新しいベンチマークデータセットを構築でき、非意味的で複合ショートカットに対するモデルの耐性を評価できるか？

主な発見

• adversarial training を施した後でも、CIFAR-10-Sで学習したResNet-18のテスト精度はOPSでは10.61%にまで低下するが、既存のEMベース手法では83.02%にとどまる。
• OPSはEMベースのULEよりもadversarial training に対して著しく頑健である。一方、EMベースのULEはこのような訓練によってほとんど無効化されるが、OPSは依然として有効である。
• OPSは局所的データ拡張（例：Cutout）に対しては非常に感受性が高く（61.68%の精度）、グローバル拡張（例：RandAugment）に対してはそれほど感受性が高くない（71.18%の精度）ため、異なる拡張タイプと相補的な挙動を示す。
• EMとOPSを組み合わせることで、より強力なunlearnable examplesが得られる。RandAugment下では、3ピクセルのショートカットで精度が34.66%に低下するが、OPS単体では71.18%にとどまる。
• OPSの複数ピクセル版は、モデルの精度をさらに低下させる。3ピクセルのOPSではResNet-18で9.74%のテスト精度を達成し、スケーラビリティと耐性の向上を示している。
• EMとOPSの摂動を組み合わせた提案されたCIFAR-10-Sデータセットは、非意味的でショートカットに基づく表現に対するモデルの耐性を評価する新しいベンチマークとして機能する。