[論文レビュー] ImageNet-X: Understanding Model Mistakes with Factor of Variation Annotations

Badr Youbi Idrissi, Diane Bouchacourt+8 more|arXiv (Cornell University)|Nov 3, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

ImageNet-Xは、ImageNet-1kの検証セットおよび学習画像の12,000枚のサブセットに対して、ポーズ、照明、背景、テクスチャなどの人間によるアノテーション付き変動要因を導入した。これらのアノテーションを用いて、2,200のモデルを分析した結果、アーキテクチャや学習パラダイムにかかわらず一貫した失敗モードが見られ、データ拡張は一部の要因に対しては耐性を高めるが、他の要因では逆効果となることが判明し、より良いデータおよび拡張法の理解の必要性が浮き彫りになった。

ABSTRACT

Deep learning vision systems are widely deployed across applications where reliability is critical. However, even today's best models can fail to recognize an object when its pose, lighting, or background varies. While existing benchmarks surface examples challenging for models, they do not explain why such mistakes arise. To address this need, we introduce ImageNet-X, a set of sixteen human annotations of factors such as pose, background, or lighting the entire ImageNet-1k validation set as well as a random subset of 12k training images. Equipped with ImageNet-X, we investigate 2,200 current recognition models and study the types of mistakes as a function of model's (1) architecture, e.g. transformer vs. convolutional, (2) learning paradigm, e.g. supervised vs. self-supervised, and (3) training procedures, e.g., data augmentation. Regardless of these choices, we find models have consistent failure modes across ImageNet-X categories. We also find that while data augmentation can improve robustness to certain factors, they induce spill-over effects to other factors. For example, strong random cropping hurts robustness on smaller objects. Together, these insights suggest to advance the robustness of modern vision models, future research should focus on collecting additional data and understanding data augmentation schemes. Along with these insights, we release a toolkit based on ImageNet-X to spur further study into the mistakes image recognition systems make.

研究の動機と目的

• SOTAのビジョンモデルが高い精度を示すにもかかわらずImageNetで失敗する理由を理解すること、特に分布内変動による要因を対象とする。
• モデルの誤りを最も引き起こす要因（例：ポーズ、照明、隠蔽）を特定すること。
• アーキテクチャの選択、学習パラダイム、データ拡張戦略が、これらの要因に対する耐性に与える影響を評価すること。
• 平均精度を超えたモデルの失敗を診断・測定できる、詳細な人間によるベンチマークを提供すること。
• より良いデータ収集と拡張設計による、将来のモデル耐性向上の研究を可能にすること。

提案手法

• ポーズ、背景、照明、色、テクスチャ、隠蔽を含む16の変動要因について、1,000枚の検証画像および12,000枚の学習画像をアノテートする。
• アノテーターが同じクラスに属する3つのプロトタイプ画像と比較することで、サンプル画像の差異を特定する対照的アノテーション方式を採用する。
• 画像を明確な変動要因（FoV）にグループ化し、各要因ごとのモデル性能を評価することで、細分化された耐性分析を可能にする。
• 多様なアーキテクチャ、学習パラダイム（教師あり、自己教師あり）およびデータ拡張戦略を用いて、2,200のビジョンモデルを訓練・評価する。
• 全体の精度に対する誤差比を計算することで、各要因ごとのモデルの失敗率を定量化し、モデル間比較を可能にする。
• 有意性の評価として、例えばAlexander-Govern検定を用いて、モデル群間の失敗パターンの差異を統計的に評価する。

実験結果

リサーチクエスチョン

• RQ1 ポーズ、照明、隠蔽などの変動要因の中で、ImageNetにおけるモデルの失敗を最も引き起こしているのはどれか？
• RQ2 モデルのアーキテクチャや学習パラダイムは、特定の変動要因に対する耐性にどのように影響するか？
• RQ3 一般的なデータ拡張技術は、意図した要因に対してどれほど耐性を高めるか、一方で関係のない要因に影響を与える程度はどの程度か？
• RQ4 異なるデータサイズ、アーキテクチャ、正則化法で訓練されたモデル間で、失敗パターンは一貫しているか？
• RQ5 ImageNetの学習セットと検証セットにおける要因の分布を比較すると、分布シフトではなくモデルの本質的脆弱性に起因するのか、その意味は何か？

主な発見

• アーキテクチャ、学習パラダイム、学習手順にかかわらず、モデルは一貫した失敗モードを示しており、特にテクスチャ、サブカテゴリ（例：イヌの種類）、隠蔽が誤りの主な原因である。
• データ拡張は、対象とする要因に対して耐性を高めるが、例えば色の変更（color-jittering）は色や明るさに対する耐性を高めるが、ポーズなど関係のない要因では性能を低下させることがある。
• クロッピングはポーズや部分的な視点に対する耐性を高めるが、パターン、背景、テクスチャの性能に悪影響を及えることがあり、これはオーバーラップ効果（スパillover効果）を示している。
• ImageNetの学習セットと検証セットは、要因の分布が類似しているため、失敗モードはデータ分布のシフトに起因するのではなく、モデルの本質的脆弱性に起因していると示唆される。
• ImageNet-Xのアノテーションから、ポーズと背景がデータセット内で最も頻度の高い変動要因であることが判明した。一部のクラス（例：イヌ）では、他のクラスに比べてポーズの変動が顕著に高い。
• 多様なモデル設計や学習手法が用いられても、要因ごとの誤差比は非常に類似しており、現在のビジョンコミュニティのモデル間で共通の失敗パターンが存在することが示された。