[論文レビュー] Do ImageNet Classifiers Generalize to ImageNet?

Benjamin Recht, Rebecca Roelofs+2 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Neural Network Applications参考文献 52被引用数 396

ひとこと要約

この論文は CIFAR-10 と ImageNet の新しいテストセットを再作成して一般化を評価し、精度の大幅な低下と元の精度と新しい精度の間に強い線形関係を見出し、適応的過学習よりもデータクリーニングと分布のギャップに対する脆弱性を示唆する。

ABSTRACT

We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% - 15% on CIFAR-10 and 11% - 14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.

研究の動機と目的

• CIFAR-10およびImageNetで訓練された画像分類器が、同じデータ源から新たに収集されたテストデータに一般化できるかを評価する。
• データ収集/ラベリングのばらつきが報告精度に与える影響を定量化する。
• 低下が適応性（テストセットへの過適合）によるものか、テストデータの分布のシフトによるものかを識別する。
• 新しいテストセットでモデルのランキングと進歩がどのように移るかを分析する。
• 将来の一般化研究を促進するため、再現可能なテストセットとコードを提供する。

提案手法

• 元のテストセット作成プロセスを再現し、CIFAR-10は Tiny Images から、ImageNet は Flickr由来の画像から新しいテストセットを取得する。
• 候補画像を手動でフィルタリングし、ラベル品質を保証し、元のラベリング手順に合わせる（CIFAR-10 は学生によるラベリング、ImageNet は MTurk ベースのラベリング）。
• AlexNet から最新アーキテクチャまで十年分の開発を含む幅広いモデルを、元のテストセットと新しいテストセットの両方で評価する。
• 適応性、分布、一般化のギャップに分解し、元の精度と新しい精度の間の線形関係を分析する。
• MTurk の注釈選択が ImageNet の性能に与える影響を、異なる選択頻度戦略を用いた3つの異なるテストセットを構築して検討する。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10 および ImageNet の新たに収集されたテストセットに対する分類器の性能は、元のテストセットの性能とどう比較されるか？
• RQ2 精度低下のうち、適応性（テストセットへの過学習）とデータラベリング・収集の分布シフトのどちらに起因する割合はどれくらいか？
• RQ3 後続のモデルは元のテストセットと新しいテストセットの間で相対的なランキングを保つか、元のセットでの改善が新しいセットでの改善を予測するか？
• RQ4 ImageNet の精度は MTurk のラベリング選択と注釈戦略にどれだけ敏感か？
• RQ5 観測された精度低下は、分布 shifts の下でもモデル順序を保つ簡単なデータ難易度モデルで説明できるか？

主な発見

• 新しいテストセットで全モデルにとって有意な精度低下：CIFAR-10は3%–15%低下、ImageNetは11%–14%低下。
• ImageNet では、最良モデルの低下は研究期間中の約5年の進歩に相当する。
• 元のテストセットと新しいテストセットの間でモデルのランキングは概ね保持されており、元の精度が高いほど新しい精度も高い傾向がある。
• 元の精度と新しい精度には線形関係があり、傾きは1より大きい（CIFAR-10で1.69、ImageNetで1.11）、元の小さな gains が新しいセットでより大きな gains を生むことを示唆。
• MTurk 注釈戦略は ImageNet の精度に大きく影響する；TopImages は精度をわずかに上げ、MatchedFrequency は大幅な低下を引き起こし、ラベリング選択に対する脆弱性を示す。
• 分布ギャップ（データ収集/ラベリングの差異）が精度低下の主因として特定され、適応的過学習よりも顕著。