[論文レビュー] Does progress on ImageNet transfer to real-world datasets?

Alex Chengyu Fang, Simon Kornblith+1 more|arXiv (Cornell University)|Jan 11, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、ImageNetにおける進歩が、ウェブスクラップされていない実世界の画像分類データセットに一般化するかを調査し、6つのウェブスクラップされていないデータセットで19の事前学習済みモデルを評価した。画像分類の精度が向上しても、下流の性能が一貫して向上するとは限らず、特にVGG以降のアーキテクチャの改善は、6つのデータセットのうち4つではほとんど利益をもたらさないことが判明した。一方、タスク固有のデータ拡張は、しばしば最新のアーキテクチャを上回る性能を示した。

ABSTRACT

Does progress on ImageNet transfer to real-world datasets? We investigate this question by evaluating ImageNet pre-trained models with varying accuracy (57% - 83%) on six practical image classification datasets. In particular, we study datasets collected with the goal of solving real-world tasks (e.g., classifying images from camera traps or satellites), as opposed to web-scraped benchmarks collected for comparing models. On multiple datasets, models with higher ImageNet accuracy do not consistently yield performance improvements. For certain tasks, interventions such as data augmentation improve performance even when architectures do not. We hope that future benchmarks will include more diverse datasets to encourage a more comprehensive approach to improving learning algorithms.

研究の動機と目的

• 最先端のImageNetモデルの改善が、実世界の画像分類タスクに一般化するかどうかを評価すること。
• ウェブスクラップされたベンチマークとは対照的に、ウェブスクラップされていないデータセットにおける下流の性能予測としてのImageNet精度の有効性を比較すること。
• データ拡張や追加の学習データといったメソッド論的介入が、アーキテクチャの進歩を上回る利益をもたらすかどうかを評価すること。
• ImageNet精度だけではなく、他のウェブスクラップされていないデータセットでのパフォーランスが、転送可能性をよりよく予測できるかどうかを調査すること。

提案手法

• ImageNetトップ1精度が56.5%から83.4%の範囲にある19のImageNet事前学習済みモデルを、6つの実世界の画像分類データセットで評価した。
• 線形回帰を用いて、下流の精度をImageNet精度の関数としてモデル化し、転送の強度を定量化するための勾配を計算した。
• F検定を用いて、他の5つのウェブスクラップされていないデータセットにおける平均精度が、ImageNet精度に加えて追加の分散を説明するかどうかを評価した。
• ロジット変換と標準化を施した後、スピアマン順位相関を用いて、異なるデータセット間でのモデルパフォーマンスを比較した。
• 事前学習時のデータ拡張戦略（例：RandAugment、AutoAugment、CutMix）とその転送パフォーマンスへの影響を分析した。
• 転送プロットにおけるモデルの点を、事前学習時のデータ拡張タイプで色分けし、パフォーマンストレンドのパターンを特定した。

実験結果

リサーチクエスチョン

• RQ1 より高いImageNet精度が、ウェブスクラップされていない実世界の画像分類データセットにおいて一貫して優れた性能をもたらすのか？
• RQ2 VGG以降のアーキテクチャの改善は、ウェブスクラップされたベンチマークとは対照的に、実世界のデータセットにどのように転送されるのか？
• RQ3 タスク固有の介入（例：データ拡張、追加の学習データ）が、実世界のタスクにおいて最新のImageNetアーキテクチャを上回る程度はどの程度か？
• RQ4 他のウェブスクラップされていないデータセットでのパフォーマンスが、ImageNet精度だけよりも、下流のパフォーマンスをよりよく予測できるか？
• RQ5 単純な拡張と自動データ拡張戦略で事前学習されたモデルの間で、転送性に体系的な差異があるか？

主な発見

• 6つの実世界データセットのうち4つでは、ImageNet精度と下流精度の線形関係の勾配が0.05未満であり、VGG以降のアーキテクチャ改善による転送は最小限にとどまっていることが示された。
• Caltech Camera Traps-20（CCT-20）データセットでは勾配が0.11、Human Protein Atlas（HPA）データセットでは0.29であり、これらのタスクでは中程度の転送が確認された。
• APTOSおよびMelanomaデータセットでは、ImageNet精度が他のデータセットの平均精度よりも有意に高い分散を説明しており、これらのタスクではImageNet精度がより良い予測子であることが示唆された。
• 6つのデータセットのうち5つでは、ImageNet精度と他の5つのデータセットの平均精度の組み合わせが、ImageNet精度だけよりも有意に高い分散を説明しており、多様なデータセットでのパフォーマンスがより強い予測子であることが示された。
• スピアマン相関の結果、5つの他のウェブスクラップされていないデータセットの平均パフォーマンスが、6つのデータセットのうち4つにおいてImageNet精度よりも予測力が高かった。特にMelanomaおよびCassavaにおいて顕著であった。
• 自動拡張（例：RandAugment、AutoAugment）で事前学習されたモデルは、単純な拡張で学習されたモデルよりも強力な転送パフォーマンストレンドを示しており、事前学習戦略が実世界の転送に重要であることが示唆された。