[論文レビュー] Adversarial Feature Augmentation and Normalization for Visual Recognition

Tianlong Chen, Yu Cheng+5 more|arXiv (Cornell University)|Mar 22, 2021

Adversarial Robustness in Machine Learning参考文献 73被引用数 10

ひとこと要約

本稿では、中間特徴埋め込みに複数の強度の adversarial パーティクルを適用し、adversarial 特徴からのバッチ統計を用いて再正規化することで、一般化性能を向上させる、新しい adversarial 特徴増強および正規化手法 A-FAN を提案する。この手法は、ピクセルレベルの adversarial 訓練と比較して計算コストが低く抑えられつつ、分類、検出、セグメンテーションの各タスクで一貫した精度向上を達成する。

ABSTRACT

Recent advances in computer vision take advantage of adversarial data augmentation to ameliorate the generalization ability of classification models. Here, we present an effective and efficient alternative that advocates adversarial augmentation on intermediate feature embeddings, instead of relying on computationally-expensive pixel-level perturbations. We propose Adversarial Feature Augmentation and Normalization (A-FAN), which (i) first augments visual recognition models with adversarial features that integrate flexible scales of perturbation strengths, (ii) then extracts adversarial feature statistics from batch normalization, and re-injects them into clean features through feature normalization. We validate the proposed approach across diverse visual recognition tasks with representative backbone networks, including ResNets and EfficientNets for classification, Faster-RCNN for detection, and Deeplab V3+ for segmentation. Extensive experiments show that A-FAN yields consistent generalization improvement over strong baselines across various datasets for classification, detection and segmentation tasks, such as CIFAR-10, CIFAR-100, ImageNet, Pascal VOC2007, Pascal VOC2012, COCO2017, and Cityspaces. Comprehensive ablation studies and detailed analyses also demonstrate that adding perturbations to specific modules and layers of classification/detection/segmentation backbones yields optimal performance. Codes and pre-trained models will be made available at: https://github.com/VITA-Group/CV_A-FAN.

研究の動機と目的

• 視覚認識におけるピクセルレベルの adversarial データ増強の高い計算コストを軽減すること。
• クリーンデータのパフォーマンスを損なうことなく、モデルの一般化性能を向上させること。
• adversarial 訓練が画像分類を越えて、オブジェクト検出およびセマンティックセグメンテーションへも有効であるかを検証すること。
• 入力レベルの adversarial 増強のより効率的な代替手段として、中間特徴表現上で動作する手法を開発すること。
• さまざまなバックボーンアーキテクチャにおける adversarial 特徴増強の最適な位置（レイヤー／ブロック）および摂動強度（ステップサイズ、PGD ステップ数）を同定すること。

提案手法

• A-FAN は、中間特徴埋め込みに対して1ステップのプロジェクション勾配降下法（PGD）を用いて adversarial 特徴摂動を生成する。
• 補間を用いて弱いものから強いものまでの摂動強度のスケールを生成し、マルチスケール正則化を可能にする。
• 摂動された特徴に適用されたバッチ正規化層から、adversarial 特徴の統計（平均および分散）を抽出する。
• これらの統計は、クリーンな特徴に正規化操作を通じて再挿入され、暗黙的かつラベル保持型のデータ増強が実現される。
• この手法はプラグアンドプレイであり、バックボーンネットワークおよびタスク固有モジュール（例：分類器、ROI ヘッド、デコーダ）に適用可能である。
• 正規化ステップにより、クリーンな特徴と adversarially 正則化された特徴を混合することで、意思決定境界が滑らかになる。

実験結果

リサーチクエスチョン

• RQ1 adversarial 特徴増強は、画像分類を越えてオブジェクト検出やセグメンテーションといった多様な視覚認識タスクにおける一般化性能の向上に寄与するか？
• RQ2 ピクセルレベルの摂動と比較して、計算コストを低減しつつ、特徴空間における adversarial 増強により同等またはより良い性能向上が達成可能か？
• RQ3 異なるモデルにおける adversarial 特徴摂動の適用に最適な位置（レイヤー／ブロック）および強度（ステップサイズ、PGD ステップ数）は何か？
• RQ4 一般化性能の向上という観点から、adversarial 特徴正規化はランダムノイズ注入と比較して優れているか？
• RQ5 提案手法は、クリーンデータにおけるパフォーマンスを向上させる一方で、ロバストネスを維持しているか？

主な発見

• CIFAR-10（ResNet-56s）では、1.23% の絶対的精度向上を達成し、ランダムノイズ注入よりも1.46% 高い。
• COCO2017 におけるオブジェクト検出では、バックボーンおよび ROI ヘッドに適用した場合、AP が 0.72% 向上した。
• Pascal VOC2012 におけるセマンティックセグメンテーションでは、バックボーンおよびデコーダモジュールに適用した場合、mIOU が 0.51% 向上した。
• バックボーンの最後のブロック（例：B3 や B4）に A-FAN を適用すると最良の性能が得られ、複数ブロックへの適用は一般化性能を低下させる。
• 最適な摂動強度は、ResNet-18 では PGD-5 かつ α = 1.0/255、Faster R-CNN では PGD-1 かつ α = 0.3/255、DeepLab V3+ では PGD-1 かつ α = 0.4/255 であることが判明した。
• 過剰な摂動強度（例：PGD-10、α = 4.0/255）は性能の低下を引き起こし、有効な正則化のための狭い最適範囲があることが示された。