[論文レビュー] Do Adversarially Robust ImageNet Models Transfer Better?

Hadi Salman, Andrew Ilyas+3 more|arXiv (Cornell University)|Jul 16, 2020

Adversarial Robustness in Machine Learning参考文献 80被引用数 111

ひとこと要約

敵対的に堅牢なImageNetモデルは、ImageNet精度が低いにもかかわらず、固定特徴と全ネットワーク転送設定の複数の下流タスク、物体検出とセグメンテーションを含む、標準モデルより転送性能が高いことが多い。

ABSTRACT

Transfer learning is a widely-used paradigm in deep learning, where models pre-trained on standard datasets can be efficiently adapted to downstream tasks. Typically, better pre-trained models yield better transfer results, suggesting that initial accuracy is a key aspect of transfer learning performance. In this work, we identify another such aspect: we find that adversarially robust models, while less accurate, often perform better than their standard-trained counterparts when used for transfer learning. Specifically, we focus on adversarially robust ImageNet classifiers, and show that they yield improved accuracy on a standard suite of downstream classification tasks. Further analysis uncovers more differences between robust and standard models in the context of transfer learning. Our results are consistent with (and in fact, add to) recent hypotheses stating that robustness leads to improved feature representations. Our code and models are available at https://github.com/Microsoft/robust-models-transfer .

研究の動機と目的

• 敵対的堅牢性が転移学習の有益な事前情報として機能するかを調査する。
• 複数の下流タスクにおいて、堅牢なImageNetモデルと標準モデルの固定特徴転送と全ネットワーク転送の性能を比較する。
• 堅牢性がモデル幅、精度、およびデータの粒度とどのように相互作用して転送に影響を与えるかを分析する。
• 転送設定において、堅牢性とテクスチャに基づく不変性手法（例：Stylized ImageNet）を比較検討する。

提案手法

• 複数のアーキテクチャ（ResNet-18、ResNet-50、WideResNet-50の派生）にわたり、さまざまな堅牢性レベル（epsilon）でImageNetモデルを訓練する。
• 事前訓練済みモデルの特徴上に線形分類器を訓練して12の下流分類データセットで固定特徴転送を評価する。
• 同じ下流タスクで事前訓練済みモデルをファインチューニングして全ネットワーク転送を実行する。
• 堅牢なバックボーンを用いたDetectron2を用いて物体検出とインスタンスセグメンテーションの評価を拡張する。
• 堅牢性レベルepsilonとアーキテクチャを含むハイパーパラメータをグリッドサーチし、選択バイアスを避けるために別々のシードを用いる。

実験結果

リサーチクエスチョン

• RQ1 固定特徴転送設定において、敵対的に堅牢なImageNetモデルは標準モデルと比較して転送性能が優れているか？
• RQ2 堅牢なモデルの転送利得は全ネットワークのファインチューニング、物体検出、インスタンスセグメンテーションへ拡張されるか？
• RQ3 堅牢性レベル、モデル幅、および下流タスクの粒度が転送性能にどのように影響するか？
• RQ4 転送を促進する際、堅牢性はテクスチャベースの不変性（Stylized ImageNet）とどのように比較されるか？
• RQ5 ImageNet精度、堅牢性、および下流転送性能の関係はどうなっているか？

主な発見

• 堅牢なモデルは、12の下流タスクにおける固定特徴転送で標準モデルと同等、または転送性能を改善する。
• 全ネットワーク転送でも、堅牢なモデルは同じタスクで標準モデルと同等または上回り、堅牢性の利点は物体検出とインスタンスセグメンテーションにも広がる。
• モデル幅を拡大すると、堅牢モデルの方が標準モデルよりもより効果的であり、より広い堅牢ネットワークが転送利得を大きくする可能性を示唆する。
• 従来の線形の精度-転送関係は、堅牢性を考慮すると保持されず、堅牢性と精度は転送に対して別個の、相反する効果を持つ。
• 最適な堅牢性レベルはデータセットによって異なり、より細かな粒度のデータセットには小さなepsilonが好まれ、CIFAR-10/100のような粗い粒度のタスクにはより大きなepsilonが有利になる。
• 堅牢モデルはテクスチャ堅牢性（Stylized ImageNet）のベースラインを上回り、表現の有用な事前情報としての堅牢性を支持する。