[論文レビュー] Robustness properties of Facebook's ResNeXt WSL models

A. Emin Orhan|arXiv (Cornell University)|Jul 17, 2019

Web Data Mining and Analysis参考文献 16被引用数 23

ひとこと要約

この論文は、10億枚の弱い教師付きInstagram画像で事前学習し、ImageNetで微調整されたFacebookのResNeXtモデルの頑健性を評価する。明示的な adversarial training が行われていないにもかかわらず、これらのモデルはImageNet-C、ImageNet-P、ImageNet-Aベンチマークで最先端の性能を達成しており、汚染や自然な adversarial 例に対して前例のない頑健性を示しているが、反復的 adversarial 攻撃には依然として脆弱であり、強力なテクスチャバイアスを保持している。

ABSTRACT

We investigate the robustness properties of ResNeXt class image recognition models trained with billion scale weakly supervised data (ResNeXt WSL models). These models, recently made public by Facebook AI, were trained with ~1B images from Instagram and fine-tuned on ImageNet. We show that these models display an unprecedented degree of robustness against common image corruptions and perturbations, as measured by the ImageNet-C and ImageNet-P benchmarks. They also achieve substantially improved accuracies on the recently introduced "natural adversarial examples" benchmark (ImageNet-A). The largest of the released models, in particular, achieves state-of-the-art results on ImageNet-C, ImageNet-P, and ImageNet-A by a large margin. The gains on ImageNet-C, ImageNet-P, and ImageNet-A far outpace the gains on ImageNet validation accuracy, suggesting the former as more useful benchmarks to measure further progress in image recognition. Remarkably, the ResNeXt WSL models even achieve a limited degree of adversarial robustness against state-of-the-art white-box attacks (10-step PGD attacks). However, in contrast to adversarially trained models, the robustness of the ResNeXt WSL models rapidly declines with the number of PGD steps, suggesting that these models do not achieve genuine adversarial robustness. Visualization of the learned features also confirms this conclusion. Finally, we show that although the ResNeXt WSL models are more shape-biased than comparable ImageNet-trained models in a shape-texture cue conflict experiment, they still remain much more texture-biased than humans, suggesting that they share some of the underlying characteristics of ImageNet-trained models that make this benchmark challenging.

研究の動機と目的

• 10億枚の弱い教師付き画像で学習することで、ResNeXtモデルの一般的な画像汚染や摂動に対する頑健性が向上するかを調査すること。
• ImageNet-Aベンチマークにおけるモデルの性能を評価すること。これは、自然な adversarial 例における分布外一般化を測定するものである。
• 特に反復的PGD攻撃を含む白ボックス adversarial 攻撃に対するモデルの頑健性を評価すること。
• 大規模な弱い教師付き学習が、通常のImageNetで学習されたモデルに見られる強いテクスチャバイアスを軽減するかを分析すること。
• 形状とテクスチャの情報が矛盾する実験を用いて、WSLモデルとImageNetで学習されたモデル、および人間の知覚との形状・テクスチャバイアスの比較を行うこと。

提案手法

• 5つのResNeXtモデルを評価：1つはImageNetで学習したベースラインで、残り4つはノイズのあるラベルを伴う約10億枚のInstagram画像で事前学習し、ImageNetで微調整されたWSLモデル。
• ImageNet-C（15種類の汚染、5段階の深刻度）を用いて、平均汚染誤差（mCE）を測定し、相対的mCEをAlexNetとの比較で算出。
• ImageNet-P（自然な摂動のベンチマーク）において、トップ1正答率と信頼度キャリブレーション指標を用いて性能を評価。
• ImageNet検証画像に対して10ステップPGD攻撃を実施し、クリーン画像と adversarial 画像の正答率を測定。
• 形状とテクスチャの情報が矛盾する実験を実施し、形状バイアススコアを算出。WSLモデルとImageNetで学習されたモデル、および人間を比較。
• 特徴マップと注目パターンを可視化し、特に形状とテクスチャへの感受性に関するインダクティブバイアスを分析。

実験結果

リサーチクエスチョン

• RQ1 10億枚の弱い教師付き画像で学習することで、標準的なImageNet学習と比較して一般的な画像汚染に対する頑健性が顕著に向上するか？
• RQ2 WSLモデルは、標準モデルにとって難しいと特に選別された自然な adversarial 例（ImageNet-A）に対してどの程度一般化するか？
• RQ3 大規模な弱い教師付き学習が、最先端の白ボックス攻撃に対してある程度の adversarial 頑健性をもたらすか？
• RQ4 WSLモデルは、標準的なImageNetで学習されたモデルに見られる強いテクスチャバイアスを軽減するか、特に形状-テクスチャの矛盾状況において？
• RQ5 形状とテクスチャへの依存度という観点から、WSLモデルのインダクティブバイアスは人間の知覚と比べてどうか？

主な発見

• 最大のWSLモデル（resnext101_32x48d_wsl）は、ImageNet-Aでトップ1正答率61.0％を達成し、ImageNetで学習したベースライン（10.2％）と比べて顕著な向上を示した。
• 同じモデルはImageNet-Cで最先端の性能を達成し、相対的mCEが0.38にまで低下し、以前のモデルを著しく上回った。
• ImageNet-Pでは、トップ1正答率80.2％、RMS-CEが17.6、AURRAが82.4を達成し、高いキャリブレーション性能を示した。
• 頑健性の向上にもかかわらず、WSLモデルはadversarial頑健性が限定的であり、10ステップPGD攻撃ではクリーン正答率が85.4％から22.1％まで低下した。
• 最大のWSLモデルは形状バイアススコア42.8％を示し、ImageNetで学習したモデル（25.9％）を上回ったが、人間の性能（95.9％）には大きく及ばなかった。
• 特徴の可視化により、汚染や自然な adversarial 例に対する頑健性が向上しているにもかかわらず、モデルは依然として人間よりもテクスチャに強くバイアスを有していることが確認された。