[論文レビュー] Improving Adversarial Robustness via Channel-wise Activation Suppressing

Yang Bai, Yuyuan Zeng+4 more|arXiv (Cornell University)|Mar 11, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用数 59

ひとこと要約

本論文は敵対的サンプルのチャネル-wise activation 特性を2つ明らかにし（より大きな振幅とより均一なチャネル活性）、冗長なチャネルを動的に抑制する Channel-wise Activation Suppressing (CAS) を提案して、敵対的訓練と組み合わせると頑健性が向上する。

ABSTRACT

The study of adversarial examples and their activation has attracted significant attention for secure and robust learning with deep neural networks (DNNs). Different from existing works, in this paper, we highlight two new characteristics of adversarial examples from the channel-wise activation perspective: 1) the activation magnitudes of adversarial examples are higher than that of natural examples; and 2) the channels are activated more uniformly by adversarial examples than natural examples. We find that the state-of-the-art defense adversarial training has addressed the first issue of high activation magnitudes via training on adversarial examples, while the second issue of uniform activation remains. This motivates us to suppress redundant activation from being activated by adversarial perturbations via a Channel-wise Activation Suppressing (CAS) strategy. We show that CAS can train a model that inherently suppresses adversarial activation, and can be easily applied to existing defense methods to further improve their robustness. Our work provides a simple but generic training strategy for robustifying the intermediate layer activation of DNNs.

研究の動機と目的

• 中間層の活性化がチャネル方向から敵対的な頑健性とどう関連するかを理解する。
• チャネルレベルでの敵対的例の2つの活性化特徴（振幅と活性化頻度）を特定する。
• CAS を提案し、冗長なチャネル活性を抑制して、既存の防御と組み合わせた場合の頑健性を向上させる。

提案手法

• 最終前層の特徴にグローバル平均プーリングを適用してチャネルごとの活性化を分析する。
• 敵対的例は自然例よりもチャネルの振幅が大きく、活性化頻度がより均一であることを示す。
• CAS を導入する：補助分類器がチャネルの重要度を学習し、訓練中にチャネル活性化を再重み付けする。
• CAS を標準的な敵対的訓練（TRADES や MART のような派生も）と結合し、ジョイント損失を用いる。
• CAS モジュールを中間レイヤに挿入する戦略を提供し、頑健性を分析する。
• CIFAR-10 と SVHN に対する white-box および black-box 攻撃に対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動は自然入力と比較してチャネル-wise の活性化振幅を大きくし、チャネル活性化をより均一にするか？
• RQ2 チャネル-wise 抑制機構は標準の敵対的訓練を超える頑健性を向上させ得るか？
• RQ3 CAS は異なる中間レイヤや防御フレームワークで適用した場合、効果的か？
• RQ4 様々な攻撃下で CAS モジュール自体の頑健性はどれくらいか？
• RQ5 CAS は自然精度を維持または向上させつつ敵対的頑健性を高めるか？

主な発見

• 敵対的例は一般に自然例よりもチャネル-wise の活性化振幅が大きい；敵対的訓練はこのギャップを狭め、敵対的振幅を小さくする。
• 敵対的例は活性化をより均一に行い、自然入力がほとんど活性化しない低周波のチャネルを多く活性化する。
• CAS は敵対的訓練、TRADES、または MART に追加することで、冗長なチャネル活性を抑制して頑健性をさらに向上させる。
• CAS は特に深いブロック（例：ResNet-18 の Block4 後）に挿入したときにチャネル-wise の抑制を実現する。
• CAS で強化した防御は CIFAR-10 および SVHN において FGSM, PGD-20, CW∞, および適応的攻撃に対して white-box および black-box の頑健性を改善している。