[論文レビュー] ScaleCert: Scalable Certified Defense against Adversarial Patches with Sparse Superficial Layers

Husheng Han, Kaidi Xu+7 more|arXiv (Cornell University)|Oct 27, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用数 13

ひとこと要約

ScaleCert は、スパースな表面的重要なニューロン（SINベースのプルーニング）を活用することで、高解像度画像における adversarial patches に対するスケーラブルな認証防御を提案する。これにより、adversarial 領域の探索オーバーヘッドと予測ノイズを低減する。ImageNet において 60.4% の認証精度を達成し、前人最高の 36.3% より顕著に向上した。

ABSTRACT

Adversarial patch attacks that craft the pixels in a confined region of the input images show their powerful attack effectiveness in physical environments even with noises or deformations. Existing certified defenses towards adversarial patch attacks work well on small images like MNIST and CIFAR-10 datasets, but achieve very poor certified accuracy on higher-resolution images like ImageNet. It is urgent to design both robust and effective defenses against such a practical and harmful attack in industry-level larger images. In this work, we propose the certified defense methodology that achieves high provable robustness for high-resolution images and largely improves the practicality for real adoption of the certified defense. The basic insight of our work is that the adversarial patch intends to leverage localized superficial important neurons (SIN) to manipulate the prediction results. Hence, we leverage the SIN-based DNN compression techniques to significantly improve the certified accuracy, by reducing the adversarial region searching overhead and filtering the prediction noises. Our experimental results show that the certified accuracy is increased from 36.3% (the state-of-the-art certified detection) to 60.4% on the ImageNet dataset, largely pushing the certified defenses for practical use.

研究の動機と目的

• ImageNet などの高解像度データセットにおける認証防御の重要なギャップに対処すること。現行の手法では認証精度が低く抑えられている。
• 実用的でスケーラブルな認証防御を構築し、実世界の展開に適した高いロバスト性と推論効率を維持すること。
• adversarial patches が局所的な表面的重要なニューロン（SINs）を悪用して予測を操作することに着目すること。
• SIN ベースのプルーニングにより、SIN を用いたスパース化によって、認証防御における候補 adversarial 領域の探索を最小限に抑え、計算オーバーヘッドを低減すること。
• 構造的なニューラルネットワークスパarsity を通じて、自然な精度を保持しながら高い認証精度を達成すること。

提案手法

• 活性化統計と top-k 選択（ウィナーレート k）を用いて、浅い層における局所的表面的重要なニューロン（SINs）を特定する。
• SIN ベースのプルーニングを適用し、活性マップをスパース化することで、ノイズを低減し、adversarial 領域検出における不要な特徴をフィルタリングする。
• 重なり閾値 τ を用いたスライディングオクルージョンウィンドウメカニズムを導入し、候補ウィンドウを統合することで探索空間を縮小する。
• SIN マスクに基づく構造的なアブレーション戦略を採用し、推論時における adversarial パッチの検出とオクルージョンを実行する。
• 確率的スムージングの原則に従い、証明可能な保証を有する認証ロバストネスフレームワークに防御を統合する。
• 認証精度、クリーン精度、推論遅延のバランスを取るために、ハイパーパrameter（k, τ, l）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 SIN ベースのスパarsity は、高解像度画像における adversarial 領域の探索空間を縮小し、認証精度を向上させることができるか？
• RQ2 SIN マスクにおけるウィナーレート（k）の選択が、認証精度とモデル効率のトレードオフにどのように影響するか？
• RQ3 オクルージョンウィンドウの統合に最適な重なり比（τ）は何か？これは遅延を最小限に抑えつつ検出精度を損なわないようにする。
• RQ4 提案手法は、前人研究の認証防御と比較して、高い認証精度と低い計算オーバーヘッドを両立できるか？
• RQ5 実世界のシナリオにおいて、ScaleCert は adversarial パッチ攻撃からの真のラベルをどの程度回復できるか？

主な発見

• ScaleCert は、1%-ピクセル adversarial patches に対して ImageNet で 60.4% の認証精度を達成し、前人最高の 36.3% より顕著に向上した。
• 2% パッチの場合、重なり比閾値 τ = 0.3 を使用することで、56.6% の認証精度を維持し、効率性とロバストネスのバランスを取った。
• MRD よりも 100 倍以上の高速化を達成し、PG-Mask-DS と同等の遅延を実現した。計算効率が顕著に優れている。
• 実験的回復では、パッチオクルージョン後に 10,000 枚の ImageNet 画像で分類精度が 14.0% から 85.8% に回復した。これは効果的なラベル回復を示している。
• 最適なハイパーパrameter設定下で、クリーン精度は 62.5% を維持しており、クリーン入力に対する性能低下が最小限に抑えられている。
• k = 10% でのプルーニングは、バニラモデル精度の 73.6% を維持し、最高の認証精度を達成した。これはスパarsity と性能の最適なトレードオフを示している。