[論文レビュー] Measuring Robustness to Natural Distribution Shifts in Image Classification

Rohan Taori, Achal Dave+4 more|arXiv (Cornell University)|Jul 1, 2020

Anomaly Detection Techniques and Applications参考文献 99被引用数 170

ひとこと要約

この論文は204個の ImageNet モデルを213の自然分布シフトにわたって評価し、合成シフトで学習した頑健性が実世界の自然シフトへ移行するかを検討する。結論としては、ほとんど移行しない。より多様なデータでの訓練は僅かな改善をもたらすが、自然シフトへの頑健性は依然として未解決の問題である。

ABSTRACT

We study how robust current ImageNet models are to distribution shifts arising from natural variations in datasets. Most research on robustness focuses on synthetic image perturbations (noise, simulated weather artifacts, adversarial examples, etc.), which leaves open how robustness on synthetic distribution shift relates to distribution shift arising in real data. Informed by an evaluation of 204 ImageNet models in 213 different test conditions, we find that there is often little to no transfer of robustness from current synthetic to natural distribution shift. Moreover, most current techniques provide no robustness to the natural distribution shifts in our testbed. The main exception is training on larger and more diverse datasets, which in multiple cases increases robustness, but is still far from closing the performance gaps. Our results indicate that distribution shifts arising in real data are currently an open research problem. We provide our testbed and data as a resource for future work at https://modestyachts.github.io/imagenet-testbed/ .

研究の動機と目的

• 現在の ImageNet モデルが現実世界の変動に起因する自然分布シフトをどのように扱うかを評価する。
• 自然シフトの頑健性と合成的な摂動への頑健性を区別する。
• 標準精度とシフト下の頑健性の関係を、精度を統制しつつ定量化する。
• 自然シフトの性能を意味的に向上させる頑健化介入を特定する。
• 将来の頑健性研究を導くための大規模なオープンテストベッドとデータセットを提供する。

提案手法

• 213 のテスト条件で 204 の事前学習済み ImageNet モデルを評価する（自然および合成シフトを含む）。
• 各モデルについて標準精度 (acc1) とシフト後精度 (acc2) を用いる2-test-set フレームワークを定義する。
• 有効な頑健性を導入: ρ(f) = acc2(f) − β(acc1(f))、ここで β は標準精度からシフト後精度への基準マッピング。
• 相対的頑健性 τ(f′) = acc2(f′) − acc2(f) を定義し介入の影響を測定する。
• シフトを自然（整合性、データセットシフト、対向的フィルタリング）と合成（破損、スタイル転写、対向的事例）に分類する。
• 合成頑健性指標と自然頑健性の相関を分析し、頑健性のデータ規模効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成分布シフトから得られた頑健性は自然分布シフトに対する頑健性へ移行するのか。
• RQ2 合成頑健性を向上させる頑健化介入は自然シフトにも有効か。
• RQ3 より大規模またはより多様なデータセットで訓練すると自然シフトへの頑健性はどう変わるのか。
• RQ4 標準精度と頑健性の獲得を分離する指標（有効な頑健性）を定義できるか。
• RQ5 どの自然分布シフトが頑健化介入の改善を最も予測するのか。

主な発見

• 頑健化介入はテストベッドの自然分布シフトでのパフォーマンスを大きく改善しない。
• はるかに多様なデータでの訓練は、いくつかのデータセットシフトに対して小さくとも検出可能な頑健性の向上をもたらすが、データ量に依存し普遍的ではない。
• 標準テストセットでのモデルの精度は、自然分布シフト下の精度を強く予測する（いくつかのシフトで高い r2 を示す、例: ImageNetV2、ObjectNet）。
• 対向的訓練（Lp）モデルは整合性シフト（ImageNet-Vid-Robust および YTBB-Robust）に対して顕著な有効頑健性を示すが、相対頑健性は負となることが多い。例外を除く。
• ImageNet-A は閾値のような挙動を示し: 標準精度が高いモデルは ImageNet-A で低い精度のモデルよりも大幅に改善する傾向があり、対向的フィルタリングが質的に異なるシフトを生み出すことを示唆する。
• 総合的な合成頑健性指標（画像破損、PGD攻撃）は、自然シフトに対する有効頑健性を予測する力が低く（相関は 0–0.24 程度）、予測性は限定的。
• 一部の巨大データで訓練されたモデル（例: EfficientNet-L2 NoisyStudent、11k 超クラスの ResNet152 など）は有利な有効頑健性を示すが、すべての高データモデルで普遍的ではない。