[論文レビュー] Adversarial Defense by Stratified Convolutional Sparse Coding

Bo Sun, Nian-hsuan Tsai+3 more|arXiv (Cornell University)|Nov 30, 2018

Adversarial Robustness in Machine Learning参考文献 53被引用数 5

ひとこと要約

本稿では、入力データを低次元の準自然画像空間に射影するための分層的畳み込みスパースコーディングを用いた、攻撃に依存しない画期的な敵対的防御手法を提案する。この空間では、綺麗な画像例と敵対的画像例が特徴空間で近接する。本手法は、効率的な射影を可能にするスパース変換層（STL）を導入し、さまざまな摂動スケール、入力解像度、データセットサイズにおいて最先端の耐性を達成しており、従来の入力変換型防御手法よりも精度と画像品質の保持の両面で優れている。

ABSTRACT

We propose an adversarial defense method that achieves state-of-the-art performance among attack-agnostic adversarial defense methods while also maintaining robustness to input resolution, scale of adversarial perturbation, and scale of dataset size. Based on convolutional sparse coding, we construct a stratified low-dimensional quasi-natural image space that faithfully approximates the natural image space while also removing adversarial perturbations. We introduce a novel Sparse Transformation Layer (STL) in between the input image and the first layer of the neural network to efficiently project images into our quasi-natural image space. Our experiments show state-of-the-art performance of our method compared to other attack-agnostic adversarial defense methods in various adversarial settings.

研究の動機と目的

• 異なる入力解像度、摂動スケール、データセットサイズにわたって耐性を維持できる、攻撃に依存せずモデルにも依存しない防御の開発。
• 自然画像多様体を忠実に近似するが、敵対的摂動を除去する低次元の準自然画像空間の構築。
• 分類器の前段で入力データを準自然空間に射影するための効率的で微分可能なスパース変換層（STL）の設計。
• 既存の入力変換型防御手法と比較して、画像の詳細の保持と敵対的摂動の除去の両立をより優れたバランスで達成すること。
• CIFAR-10 や ImageNet などの標準ベンチマークで、複数の敵対的攻撃に対して最先端の性能を示すこと。

提案手法

• 本手法は、教師なし畳み込み辞書学習を用いて、低次元空間における自然画像多様体を近似することで、準自然画像空間を構築する。
• 入力画像を学習済みの畳み込み辞書を用いたスパースコーディングで準自然空間に射影する、新規のスパース変換層（STL）を導入する。
• STL は、入力と最初のネットワーク層の間で微分可能かつエンドツーエンドのレイヤーとして動作し、分類器と同時に学習可能である。
• 敵対的画像例とその元の綺麗な画像例が、準自然空間に射影された後、特徴空間で近接するという性質を活用して耐性を強化する。
• 射影された準自然画像で分類器をファインチューニングすることで、耐性をさらに向上させる。
• 再構成品質と耐性のトレードオフを制御するため、スパarsity制約重み $\lambda$ を使用する。

実験結果

リサーチクエスチョン

• RQ1 攻撃に依存せず、モデルにも依存しない防御手法が、多様な敵対的攻撃に対して最先端の耐性を達成できるか？
• RQ2 自然画像の構造を保持しつつ敵対的摂動を除去できる低次元の準自然画像空間を構築できるか？
• RQ3 微分可能なスパース変換層（STL）が、モデル再訓練を要せず、効果的かつ効率的に準自然空間に射影できるか？
• RQ4 本手法は、既存の入力変換型防御手法と比較して、画像品質と耐性のバランスにおいて優れているか？
• RQ5 本防御は、異なる入力解像度、摂動の大きさ、大規模データセットにおいても高い性能を維持できるか？

主な発見

• 本手法は、複数の攻撃に対して ImageNet で最先端のトップ-1精度を達成し、FGSM-0.08（0.8654）、BIM（0.7332）、CW（0.7212）の各条件下で、従来の攻撃に依存しない防御を上回った。
• CIFAR-10 では、FGSM-0.08 条件下でトップ-1精度 0.8654 を達成し、次善の手法（TVM で 0.8591）を上回り、Quilting（0.8149） や Crop-Ens（0.7730） よりも顕著に優れた性能を示した。
• 本手法は、画像品質と防御性能のトレードオフにおいて優れた耐性を示し、既存手法と比較して最高の PSNR とより好ましい予測品質の範囲を達成した。
• 本手法は、さまざまな入力解像度と摂動スケールにおいても高い耐性を維持し、vanilla ResNet-50 モデルにおいて、FGSM-0.08 では 0.61 以上、CW では 0.63 以上の精度を維持した（STL 防御使用時）。
• 本手法では、綺麗な画像例と敵対的画像例の予測精度の特性区間が最小限に抑えられ、変換後の特徴空間で両者が一貫して近接していることを示した。
• アブレーションスタディにより、スパarsity制約重み $\lambda$ を増加させることで耐性が向上するが、画像品質が低下することが確認され、最適な $\lambda$ が両指標を効果的にバランスさせていることが示された。