[論文レビュー] Mitigating Adversarial Effects Through Randomization

Cihang Xie, Jianyu Wang+3 more|arXiv (Cornell University)|Nov 6, 2017

Adversarial Robustness in Machine Learning参考文献 26被引用数 195

ひとこと要約

本論文は推論時のランダム化（ランダムなリサイズとランダムなパディング）を提案し、CNNsを adversarial examples から守る。特に iterative attacks に対して強い結果を達成し、adversarial training と組み合わせることで防御を強化する。

ABSTRACT

Convolutional neural networks have demonstrated high accuracy on various tasks in recent years. However, they are extremely vulnerable to adversarial examples. For example, imperceptible perturbations added to clean images can cause convolutional neural networks to fail. In this paper, we propose to utilize randomization at inference time to mitigate adversarial effects. Specifically, we use two randomization operations: random resizing, which resizes the input images to a random size, and random padding, which pads zeros around the input images in a random manner. Extensive experiments demonstrate that the proposed randomization method is very effective at defending against both single-step and iterative attacks. Our method provides the following advantages: 1) no additional training or fine-tuning, 2) very few additional computations, 3) compatible with other adversarial defense methods. By combining the proposed randomization method with an adversarially trained model, it achieves a normalized score of 0.924 (ranked No.2 among 107 defense teams) in the NIPS 2017 adversarial examples defense challenge, which is far better than using adversarial training alone with a normalized score of 0.773 (ranked No.56). The code is public available at https://github.com/cihangxie/NIPS2017_adv_challenge_defense.

研究の動機と目的

• CNNs に対する adversarial perturbations 下での頑健な分類を動機づける。
• 推論時のランダム化による軽量で訓練不要の防御を導入する。
• ImageNet規模データで、複数のアーキテクチャと攻撃タイプにわたって防御を評価する。
• adversarial training との適合性と、防御チャレンジにおける競争力のある性能を示す。

提案手法

• 推論時に2つのランダム化レイヤを追加する：[299,331) のサイズにランダムなリサイズと、331×331×3 へのランダムゼロパディング。
• 再訓練やファインチューニングは不要で、追加計算も最小限。
• 推論時のランダム化が adversarial perturbations を撹乱することを示す。特に iterative attacks に対して、ランダムパターン間の transferability loss により効果を発揮。
• ランダム化と adversarial training を組み合わせて、single-step attacks に対する頑健性を高める。
• ImageNet規模のネットワーク（Inception-v3, ResNet-101, Inception-ResNet-v2, ens-adv-Inception-ResNet-v2）を用い、FGSM, DeepFool, Carlini & Wagner 攻撃で評価する。

Figure 1: This is an adversarial example crafted for VGG (Simonyan & Zisserman, 2015 ) . The left image is classified correctly as king penguin, the center image is the adversarial perturbation (magnified by 10 and enlarged by 128 for better visualization), and the right image is the adversarial exa

実験結果

リサーチクエスチョン

• RQ1 推論時のランダム化は、異なるパターン間で adversarial perturbations の transferability を低下させるか？
• RQ2 single-step と iterative attacks に対して手法はどのように機能するか？
• RQ3 ランダム化アプローチは既存の adversarial training とネットワークアーキテクチャと互換性があるか？
• RQ4 クリーンな画像の精度への影響はどの程度か？
• RQ5 NIPS 2017 defense challenge のような大規模ベンチマークでの性能はどうか？

主な発見

• ランダム化レイヤは、single-step および iterative attacks の両方に対して adversarial の影響を大幅に緩和し、特に iterative attacks で顕著。
• ランダム化と ensemble adversarial training を組み合わせると頑健性が高まり、例えば attack across で top-1 精度が高い水準を維持。
• クリーンな画像では、ランダム化による精度低下はごく僅か（アーキテクチャ間で小さな低下）で済む。
• NIPS 2017 defense challenge で、ランダム化と ens-adv-Inception-ResNet-v2 の組み合わせは正規化スコア0.924を達成し、107 チーム中第2位（No. 2）、対して adversarial training alone は0.773で第56位。
• 防御は vanilla、single-pattern、ensemble-pattern 攻撃を含む多くの攻撃シナリオをサポートする。

Figure 2: The pipeline of our randomization-based defense mechanism. The input image $X_{n}$ first goes through the random resizing layer with a random scale applied. Then the random padding layer pads the resized image $X_{n}^{\prime}$ in a random manner. The resulting padded image $X_{n}^{\prime\p