[論文レビュー] RobustART: Benchmarking Robustness on Architecture Design and Training Techniques

Shiyu Tang, Ruihao Gong+10 more|arXiv (Cornell University)|Sep 11, 2021

Adversarial Robustness in Machine Learning参考文献 100被引用数 51

ひとこと要約

RobustART は、敵対的、自然、システムノイズに対する ImageNet 上の DNN の頑健性に影響を与えるアーキテクチャ設計と一般的な訓練技術の初の総合ベンチマークを提供します。

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial noises, which motivates the benchmark of model robustness. Existing benchmarks mainly focus on evaluating defenses, but there are no comprehensive studies of how architecture design and training techniques affect robustness. Comprehensively benchmarking their relationships is beneficial for better understanding and developing robust DNNs. Thus, we propose RobustART, the first comprehensive Robustness investigation benchmark on ImageNet regarding ARchitecture design (49 human-designed off-the-shelf architectures and 1200+ networks from neural architecture search) and Training techniques (10+ techniques, e.g., data augmentation) towards diverse noises (adversarial, natural, and system noises). Extensive experiments substantiated several insights for the first time, e.g., (1) adversarial training is effective for the robustness against all noises types for Transformers and MLP-Mixers; (2) given comparable model sizes and aligned training settings, CNNs > Transformers > MLP-Mixers on robustness against natural and system noises; Transformers > MLP-Mixers > CNNs on adversarial robustness; (3) for some light-weight architectures, increasing model sizes or using extra data cannot improve robustness. Our benchmark presents: (1) an open-source platform for comprehensive robustness evaluation; (2) a variety of pre-trained models to facilitate robustness evaluation; and (3) a new view to better understand the mechanism towards designing robust DNNs. We will continuously develop to this ecosystem for the community.

研究の動機と目的

• 多様なノイズタイプにおいて、アーキテクチャ設計が頑健性にどのように影響するかを調査する。
• 防御最適化の焦点に依存しない、一般的な訓練技術が頑健性に及ぼす影響を評価する。
• モデルファミリ全体における頑健性の機構を明確にする大規模でオープンソースのベンチマークを提供する。

提案手法

• 整合した訓練設定のもと、49の人手設計アーキテクチャと1,200以上のNAS由来サブネットワークから1,000以上のモデルをベンチマークする。
• データ拡張、敵対的訓練、モデル最適化にまたがる10以上の訓練技術を統合する。
• 敵対的ノイズ、自然ノイズ（ImageNet-C/P/A/O）、およびシステムノイズ（ImageNet-S）を対象に頑健性を評価する。
• Adversarial Robustness (AR)、Worst-Case Attack Robustness (WCAR)、mCE、NmFP、AUPR、NSD といった指標を用いる。
• モデル zoo、訓練インターフェース、ノイズ生成器、評価 API を備えたオープンソースのフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなノイズ下で、異なるアーキテクチャファミリー（CNN、Transformers、MLP-Mixers）は頑健性をどのように比較するか。
• RQ2 アーキテクチャファミリー内および跨って、モデルサイズや容量の増大が頑健性に与える影響は何か。
• RQ3 防御特有の手法に依存しない一般的な訓練技術が頑健性に与える影響はどうか。
• RQ4 NAS由来のサブネットは、敵対的、自然、システムノイズの下で、手設計アーキテクチャより頑健かどうか。

主な発見

• 敵対的訓練は、すべてのノイズタイプに対して Transformer および MLP-Mixers の頑健性を向上させる。
• 同等のサイズと設定が与えられた場合、CNN は自然ノイズとシステムノイズで優れており、Transformers は敵対的頑健性で卓越する。
• モデル容量を増やすことは、ほとんどのファミリーで頑健性を一般的に向上させるが、より軽量なアーキテクチャではサイズを大きくしたりデータを増やしても効果がない場合がある。
• NASでサンプルされたサブネットは、入力サイズが敵対的頑健性を低下させる傾向を示す一方、より深い最終段とより大きい総カーネルサイズは頑健性を高める可能性がある。
• Swin Transformers は、いくつかのノイズタイプにおいてCNNに近い頑健性パターンを示すことがあり、ウィンドウ注意機構や階層構造といったアーキテクチャ的特徴が原因と考えられる。