[論文レビュー] Enhancing Adversarial Defense by k-Winners-Take-All

Chang Xiao, Peilin Zhong+1 more|arXiv (Cornell University)|May 25, 2019

Adversarial Robustness in Machine Learning参考文献 62被引用数 6

ひとこと要約

この論文では、標準的なReLU活性化関数をk-Winners-Take-All（k-WTA）活性化関数に置き換えることで、敵対的ロバストネスを向上させることを提案している。k-WTAにより、ネットワーク出力にC⁰の不連続性が導入され、入力空間の密集した点において勾配が定義されなくなる。これにより、勾配に基づく敵対的攻撃が無力化される。全テストアーキテクチャおよび学習設定において、k-WTAネットワークはReLUネットワークを著しく上回り、CIFAR-10では敵対的攻撃に対して最大96.9%のロバスト正答率を達成し、MNISTでは自然学習で62.2%を達成した。

ABSTRACT

We propose a simple change to existing neural network structures for better defending against gradient-based adversarial attacks. Instead of using popular activation functions (such as ReLU), we advocate the use of k-Winners-Take-All (k-WTA) activation, a C0 discontinuous function that purposely invalidates the neural network model's gradient at densely distributed input data points. The proposed k-WTA activation can be readily used in nearly all existing networks and training methods with no significant overhead. Our proposal is theoretically rationalized. We analyze why the discontinuities in k-WTA networks can largely prevent gradient-based search of adversarial examples and why they at the same time remain innocuous to the network training. This understanding is also empirically backed. We test k-WTA activation on various network structures optimized by a training method, be it adversarial training or not. In all cases, the robustness of k-WTA networks outperforms that of traditional networks under white-box attacks.

研究の動機と目的

• 深層ニューラルネットワークが勾配に基づく敵対的攻撃に対して脆弱であるという問題に対処すること。
• ネットワーク出力に不連続性を導入することで、敵対的例の生成を防げるかどうかを調査すること。
• 学習手順を変更せずにロバストネスを向上させる最小限のアーキテクチャ的変更を開発すること。
• 非滑らかな活性化関数を有してもk-WTAが学習可能であることを検証すること。
• 多様な白ボックスおよびブラックボックス攻撃において、k-WTAネットワークが優れたロバストネスを示すことを実証すること。

提案手法

• 層内のk個の最大活性化値のみを保持し、残りをゼロに設定するk-WTAに標準的なReLU活性化関数を置き換える。
• k-WTAをC⁰不連続な活性化関数として用い、入力空間の密集した点においてネットワークの勾配が定義されなくなるようにする。
• バッチノーマライゼーション、畳み込み、プーリングなどの他のネットワーク部品および学習手法を変更しない。
• 入力空間における不連続性が密集している一方で、重み空間における不連続性は疎であるという事実を活用し、成功裏に学習を可能にする。
• 活性化ニューロン数を制御するスパarsity比γを用い、γが小さいほど不連続性の密度が高くなる。
• 複数のデータセットおよびアーキテクチャにおいて、PGD、C&W、DeepFool、MIM、およびトランスファー攻撃の下でロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク出力にC⁰不連続性を導入することで、勾配に基づく敵対的攻撃を防げるか？
• RQ2 k-WTAは非微分可能関数を有するにもかかわらず、なぜ学習可能なのか？
• RQ3 異なる学習手法において、k-WTAはReLUと比較して白ボックス攻撃に対してどの程度ロバストか？
• RQ4 k-WTAネットワークから生成された敵対的例はReLUネットワークにどの程度転送可能か、逆にReLUからk-WTAへも同様に転送可能か？
• RQ5 k-WTAにおけるスパarsity比γは、損失関数の滑らかさと敵対的ロバストネスにどのような影響を与えるか？

主な発見

• CIFAR-10では、k-WTA-0.1ネットワークがTRADES学習を用いてPGD攻撃下で96.9%のロバスト正答率を達成し、ReLUネットワークを上回った。
• 自然（敵対的でない）学習でさえも、CIFAR-10におけるk-WTA-0.1は96.0%のロバスト正答率を達成したのに対し、同じ設定でReLUは95.0%であった。
• MNISTでは、自然学習下でk-WTA-0.1がPGD攻撃に対して62.2%のロバスト正答率を達成したのに対し、ReLUは0.0%であった。
• k-WTAとReLUネットワーク間のトランスファー攻撃では、k-WTAネットワークの成功確率が著しく低く、転送性が低いことが示された。
• トランスファー攻撃表の対角成分から、k-WTA-0.1（AT）は最も強いブラックボックス攻撃下でも67.2%のロバスト正答率を達成し、ReLU（AT）の59.4%を上回った。
• 損失関数の可視化により、敵対的訓練後でもk-WTAネットワークは鋭い不連続性を保ち続け、γ値が大きいほどわずかに滑らかさが向上することが確認された。