[論文レビュー] Enhancing Intrinsic Adversarial Robustness via Feature Pyramid Decoder

Guanlin Li, Shuya Ding+2 more|arXiv (Cornell University)|May 6, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 4

ひとこと要約

本稿では、特徴量ピラミッドデコーダー（FPD）と呼ばれる、攻撃に依存しない防御フレームワークを提案する。このフレームワークは、ブロックベースの畳み込みニューラルネットワーク（CNN）の内在的ロバストネスを向上させるために、マルチスケールのノイズ除去モジュールと画像修復モジュールを統合し、分類層にリプシッツ定数制約を適用する。$\backslash$epsilon$-近傍のノイズあり画像を用いた二段階の訓練戦略により、マルチタスク学習と自己教師学習を実現し、FPDを強化したモデルは、MNIST、SVHN、CALTECHデータセットにおいて、多様なホワイトボックスおよびブラックボックス攻撃に対して顕著に高いロバストネスを示し、標準的および敵対的訓練済みモデルを上回る性能を発揮する。

ABSTRACT

Whereas adversarial training is employed as the main defence strategy against specific adversarial samples, it has limited generalization capability and incurs excessive time complexity. In this paper, we propose an attack-agnostic defence framework to enhance the intrinsic robustness of neural networks, without jeopardizing the ability of generalizing clean samples. Our Feature Pyramid Decoder (FPD) framework applies to all block-based convolutional neural networks (CNNs). It implants denoising and image restoration modules into a targeted CNN, and it also constraints the Lipschitz constant of the classification layer. Moreover, we propose a two-phase strategy to train the FPD-enhanced CNN, utilizing $ε$-neighbourhood noisy images with multi-task and self-supervised learning. Evaluated against a variety of white-box and black-box attacks, we demonstrate that FPD-enhanced CNNs gain sufficient robustness against general adversarial samples on MNIST, SVHN and CALTECH. In addition, if we further conduct adversarial training, the FPD-enhanced CNNs perform better than their non-enhanced versions.

研究の動機と目的

• 特定の攻撃に特化した敵対的訓練の一般化能力の低さと計算コストの高さを是正するため、攻撃に依存しない敵対的訓練や攻撃固有のデータに依存しない、内在的ロバストネスを向上させる。
• 敵対的データを訓練中に使用しない攻撃に依存しない防御フレームワークを構築し、ブロックベースのCNNの内在的ロバストネスを向上させる。
• 複数のネットワークレベルでノイズ除去および画像修復機能を統合したマルチスケールの特徴量ピラミッドデコーダーを設計する。
• 分類層のリプシッツ定数を制約することで、入力摂動に対する出力感度を制限する。
• ホワイトボックスおよびブラックボックスの両設定を含む多様なデータセットおよび攻撃タイプにおいて、フレームワークの有効性を検証する。

提案手法

• ブロックベースのCNNに、フロントノイズ除去モジュール、画像修復モジュール、ミドルノイズ除去層、バックノイズ除去モジュールを統合し、特徴量レベルでのマルチスケールのノイズ除去を実現する。
• マルチタスク学習（再構成と分類）と自己教師学習を可能にするために、$\u0005\backslash$epsilon$-近傍のノイズあり画像を用いた二段階の訓練戦略を採用する。
• 入力摂動に対する出力変動を制限するため、最終分類層にリプシッツ定数制約を実装する。
• 効率性と特徴表現を向上させるために、内部ノイズ除去層にボトルネックアーキテクチャを適用する。
• クリーン画像を教師画像として用いたマルチタスク監視により、修復および分類ヘッドを同時に学習する。
• 特徴マップ全体にピラミッド構造を適用し、復元された入力からの階層的ノイズ除去と特徴抽出を実現する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練や攻撃固有のデータに依存せずに、CNNの内在的ロバストネスを向上させることができる防御フレームワークは存在するか？
• RQ2 提案されたFPDフレームワークは、多様なデータセットにおいてホワイトボックスおよびブラックボックス攻撃に対してどの程度効果的か？
• RQ3 マルチスケールのノイズ除去および画像修復の統合は、標準モデルと比較してどの程度ロバストネスを向上させるか？
• RQ4 分類層にリプシッツ定数制約を適用することで、摂動下でのロバストネスに有意義な寄与がなされるか？
• RQ5 FPDフレームワークは敵対的訓練と効果的に組み合わせられ、さらなるロバストネス向上が達成できるか？

主な発見

• MNISTでは、FPDを強化したResNet-101が、$L_{\infty}$-PGD攻撃（$\epsilon = 8/256$）に対して95.2％のロバスト正答率を達成し、非強化モデルを顕著に上回った。
• SVHNでは、FPDを強化したモデルが、$L_{\infty}$-PGD攻撃下でも78.4％のロバスト正答率を維持したのに対し、ベースラインは61.2％であった。
• CALTECH-101では、FPDを強化したResNet-101が、$L_{\infty}$-PGD攻撃下で61.78％のロバスト正答率を達成し、オリジナルモデルより34.64ポイント高い性能を示した。
• CALTECH-256では、FPDを強化したResNet-101が49.79％のロバスト正答率を達成した一方、オリジナルモデルは同じ攻撃条件下で0.00％であった。
• 敵対的訓練と組み合わせた場合、FPDを強化したモデルは非強化モデルよりも高いロバストネスを示し、相乗効果が確認された。
• 可視化分析から、画像修復モジュールがクリーン入力および敵対的入力から類似した出力を生成しており、摂動の効果的なフィルタリングが行われていることが示された。