[論文レビュー] CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection

Hanshu Yan, Jingfeng Zhang+4 more|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用数 11

ひとこと要約

CIFSは、敵対的訓練中に否定的に関連する（NR）チャネルを抑制し、正に関連する（PR）チャネルとアクティベーションを整合させる、チャネルごとの重要度に基づく特徴選択メカニズムを提案する。上位k個の予測勾配から動的 Importance マスクを生成することで、CIFAR10 における PGD-20 攻撃下で、標準的な敵対的訓練を上回り、ロバスト精度を最大6パーセンテージポイント向上させる。

ABSTRACT

We investigate the adversarial robustness of CNNs from the perspective of channel-wise activations. By comparing extit{non-robust} (normally trained) and extit{robustified} (adversarially trained) models, we observe that adversarial training (AT) robustifies CNNs by aligning the channel-wise activations of adversarial data with those of their natural counterparts. However, the channels that are extit{negatively-relevant} (NR) to predictions are still over-activated when processing adversarial data. Besides, we also observe that AT does not result in similar robustness for all classes. For the robust classes, channels with larger activation magnitudes are usually more extit{positively-relevant} (PR) to predictions, but this alignment does not hold for the non-robust classes. Given these observations, we hypothesize that suppressing NR channels and aligning PR ones with their relevances further enhances the robustness of CNNs under AT. To examine this hypothesis, we introduce a novel mechanism, i.e., \underline{C}hannel-wise \underline{I}mportance-based \underline{F}eature \underline{S}election (CIFS). The CIFS manipulates channels' activations of certain layers by generating non-negative multipliers to these channels based on their relevances to predictions. Extensive experiments on benchmark datasets including CIFAR10 and SVHN clearly verify the hypothesis and CIFS's effectiveness of robustifying CNNs. \url{https://github.com/HanshuYAN/CIFS}

研究の動機と目的

• 敵対的訓練を経たモデルが、ロバスト化にもかかわらず特定のクラスで失敗する理由を解明すること。
• 特にNRおよびPRチャネルであるチャネルごとのアクティベーションが、敵対的脆弱性に果たす役割を同定すること。
• NRチャネルの選択的抑制と、PRチャネルのアクティベーションをその予測関連性に一致させることで、ロバスト性を向上させるメカニズムを開発すること。
• 標準的な敵対的訓練が性能を発揮しない状況においても、自然精度を損なわず敵対的ロバスト性を向上させること。

提案手法

• CIFSは、上位k個の予測ログィットに対する関連性に基づいてチャネルごとのアクティベーションを調整する、学習可能な重要度マスクを導入する。
• 特定のレイヤーでの素早い予測を生成するためのプローブネットワークを用い、最終分類器の代わりに使用する。
• チャネルアクティベーションに関する上位k個のログィットの勾配を用いて重要度スコアを計算し、チャネルの予測信頼度への関連性を捉える。
• 重要度マスクは、前方伝播中にNRチャネルを抑制し、PRチャネルを促進するために乗算因子として適用される。
• この手法は敵対的訓練に統合され、マスクはバックボーンネットワークと併せて標準的な交差エントロピー損失を用いて同時に学習される。
• 特に上位2または上位3の予測からのフィードバックが、重要度推定の信頼性を向上させ、重要なチャネルの誤分類を低減する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練中に否定的に関連する（NR）チャネルを抑制することは、ロバスト性の向上に寄与するか？
• RQ2 チャネルアクティベーションをその予測関連性に一致させることは、特に非ロバストクラスにおいてロバスト性の向上に寄与するか？
• RQ3 上位1つではなく上位k個の予測フィードバックを用いることで、チャネル重要度推定の信頼性はどのように向上するか？
• RQ4 CIFSは敵対的データへの過学習を低減させるとともに、自然精度を維持または向上させるか？

主な発見

• 上位2のフィードバックを用いた場合、CIFAR10 における PGD-20 攻撃下で、標準的な敵対的訓練と比較して CIFS はロバスト精度を6パーセンテージポイント向上させる。
• 上位2のフィードバック下で、CIFS/Final の防御率は CIFS/CIFS よりも6パーセンテージポイント高い。これは、CIFS が最終分類の前に敵対的入力を効果的にクリーニングしていることを示している。
• 重要度評価に上位1のログィットを用いる場合、重要なチャネルを誤って特定する確率が50%以上に上昇するが、上位2または上位3のフィードバックを用いることで、関連するチャネルを正しく特定する精度が顕著に向上する。
• CIFS は自然精度を高く維持（CIFAR10 でトップ1精度83.49%）しながらロバスト性を向上させるため、自然精度とロバスト精度の良好なトレードオフを実現している。
• アブレーションスタディの結果、上位k個の予測からのフィードバックが、効果的なチャネル選択に不可欠であることが確認され、上位1よりも上位2および上位3の結果が優れている。