[論文レビュー] ImageNet-Hard: The Hardest Images Remaining from a Study of the Power of Zoom and Spatial Biases in Image Classification

Mohammad Reza Taesiri, Giang Nguyen+3 more|arXiv (Cornell University)|Apr 11, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

この論文では、最適なズームを適用しても誤分類が続く、ImageNetで最も困難な画像からなる新しいベンチマーク、ImageNet-Hardを紹介する。著者らは、テスト時ズームがImageNetで98.91%の精度に到達させることを示し、ImageNet-AおよびObjectNetに顕著な空間的バイアス（特に中央寄りバイアス）が存在することを明らかにした。さらに、MEMOを上回る性能を発揮する、より高速で解釈性の高いズームベースのテスト時増強（TTA）手法を提案した。

ABSTRACT

Image classifiers are information-discarding machines, by design. Yet, how these models discard information remains mysterious. We hypothesize that one way for image classifiers to reach high accuracy is to first zoom to the most discriminative region in the image and then extract features from there to predict image labels, discarding the rest of the image. Studying six popular networks ranging from AlexNet to CLIP, we find that proper framing of the input image can lead to the correct classification of 98.91% of ImageNet images. Furthermore, we uncover positional biases in various datasets, especially a strong center bias in two popular datasets: ImageNet-A and ObjectNet. Finally, leveraging our insights into the potential of zooming, we propose a test-time augmentation (TTA) technique that improves classification accuracy by forcing models to explicitly perform zoom-in operations before making predictions. Our method is more interpretable, accurate, and faster than MEMO, a state-of-the-art (SOTA) TTA method. We introduce ImageNet-Hard, a new benchmark that challenges SOTA classifiers including large vision-language models even when optimal zooming is allowed.

研究の動機と目的

• 画像分類モデルが、全体画像の特徴抽出ではなく、識別的領域へのズームに依存しているかどうかを調査すること。
• ImageNet-AやObjectNetのような一般的なビジョンベンチマークにおいて、空間的バイアス（特に中央寄りバイアス）を特定・定量すること。
• ズームを明示的に活用することで分類精度を向上させる、テスト時増強手法を開発すること。
• 最適なズームを適用しても依然誤分類が続く、最も困難な画像からなる新しいベンチマーク、ImageNet-Hardを構築すること。
• Hardな、まれな、または不適切に定式化された画像に対して、最先端のビジョンモデル（視覚言語モデルを含む）に残存する限界を露呈すること。

提案手法

• 著者らは、画像の小さい方の次元を目標スケールSにリサイズし、グリッドのセル中心に3×3グリッドから9つのクロップを生成することで、系統的なズームスタディを実施した。
• AlexNetからCLIPに至る複数のモデルを、最適なズーム下でImageNet、ImageNet-A、ObjectNet、その他のベンチマークで評価し、精度向上を測定した。
• 予測の前にモデルがズームイン操作を実行するように強制する新しいTTA技術を導入し、ロバストネスと精度を向上させた。
• この手法はテスト時にズームをインダクティブバイアスとして統合し、MEMOに比べて精度、速度、解釈性の面で優れた性能を発揮した。
• ImageNet-Hardにおける誤分類パターンを分析し、SOTAモデルが抱える残存課題を同定した。
• CLIPが324種類のズーム設定ですら失敗する7つのImageNetスケールのデータセットから派生する1000クラス分類ベンチマークであるImageNet-Hardをリリースした。

実験結果

リサーチクエスチョン

• RQ1 最適なズームを適用することで、最先端の画像分類モデルがImageNetで顕著な精度向上を達成できるか？
• RQ2 空間的バイアス（特に中央寄りバイアス）は、ImageNet-AおよびObjectNetにおけるモデル性能にどの程度影響を与えるか？
• RQ3 ズームをテスト時増強戦略として効果的に活用することで、モデルの精度と解釈性を向上させられるか？
• RQ4 最適なズームを適用しても依然誤分類が続く画像はどのようなものであり、その理由は何か？
• RQ5 最先端のビジョンモデル（視覚言語モデルを含む）は、残存する最も困難な画像の新しいベンチマーク上で、どの程度の性能を発揮するか？

主な発見

• 最適なズームを適用することで、最先端のモデルがImageNetで98.91%の精度に到達し、残り0.39%（約390枚）の画像が誤分類された。
• ImageNet-AおよびObjectNetには顕著な中央寄りバイアスが存在し、中央クロップのみでResNet-50の精度がImageNet-Aで0.09%から14.58%に上昇した。
• 提案されたズームベースのTTA手法は、ベースラインモデルおよびMEMOを上回る分類精度を達成したほか、高速かつ解釈性に優れている。
• CLIP ViT-L/14を含むSOTAモデルは、ImageNet-Hardで19%未満の精度にとどまり、依然として大きな課題が残存していることを示した。
• ImageNet-Hardの最も困難な画像は、主にまれな、不適切に定式化された、または曖昧な画像であり、現在のモデルの一般化能力の限界を浮き彫りにした。
• ImageNet-Hardは、最適なズームを適用しても最先端の視覚言語モデルでさえ挑戦を受けるため、将来的なモデルの評価に有効なベンチマークである。