[論文レビュー] When does dough become a bagel? Analyzing the remaining mistakes on ImageNet

Vijay K. Vasudevan, Benjamin Caine+3 more|arXiv (Cornell University)|May 9, 2022

Machine Learning and Data Classification被引用数 10

ひとこと要約

この論文は、最先端のImageNetモデルがマルチラベル検証セットで残した誤りを分析し、ほぼ半数の「誤り」が熟練者による再評価で実際には正しい予測であることが明らかになった。一方で40%は明確で重大な誤りである。著者らは、今後のモデルの進歩をより的確に測定できるよう、これらの顕著な誤りを収集した68例のベンチマーク「ImageNet-M」を提案する。

ABSTRACT

Image classification accuracy on the ImageNet dataset has been a barometer for progress in computer vision over the last decade. Several recent papers have questioned the degree to which the benchmark remains useful to the community, yet innovations continue to contribute gains to performance, with today's largest models achieving 90%+ top-1 accuracy. To help contextualize progress on ImageNet and provide a more meaningful evaluation for today's state-of-the-art models, we manually review and categorize every remaining mistake that a few top models make in order to provide insight into the long-tail of errors on one of the most benchmarked datasets in computer vision. We focus on the multi-label subset evaluation of ImageNet, where today's best models achieve upwards of 97% top-1 accuracy. Our analysis reveals that nearly half of the supposed mistakes are not mistakes at all, and we uncover new valid multi-labels, demonstrating that, without careful review, we are significantly underestimating the performance of these models. On the other hand, we also find that today's best models still make a significant number of mistakes (40%) that are obviously wrong to human reviewers. To calibrate future progress on ImageNet, we provide an updated multi-label evaluation set, and we curate ImageNet-Major: a 68-example "major error" slice of the obvious mistakes made by today's top models -- a slice where models should achieve near perfection, but today are far from doing so.

研究の動機と目的

• 最先端のImageNetモデルがマルチラベル検証セットで残した誤りの妥当性を再評価すること。
• 表面的には誤りとされる予測が、多ラベルの可能性を無視した結果である場合、実際には正しい予測であるかどうかを特定すること。
• 残りの誤りをタイプと深刻度に分類し、今後の評価基準を調整すること。
• 最も顕著で明確な誤りに特化した、高機能なベンチマーク「ImageNet-M」を構築すること。
• ラベルの更新とコミュニティ参加を可能にする、改善された動的マルチラベル評価プロトコルを提唱すること。

提案手法

• ViT-3BおよびGreedy Soupsという2つの最先端モデルがマルチラベル検証セットで出した誤りを、すべて手動でレビューし再評価した。
• 熟練者パネルの合意に基づき、予測を「正しい」または「誤り」と再分類し、多ラベルの有効性と意味的境界を重視した。
• 誤りのタイプ（例：誤分類、過剰解釈、不十分解釈）と深刻度（重大 vs. 軽微）に分類した。
• 「重大」な誤りの68例のサブセットを特定した。これは人間のレビュアーが全員が一様に拒否する明らかな誤りであり、ImageNet-Mの核となる。
• ImageNet-Mを包括的なラベル付け、バージョン管理可能で、将来的なコミュニティによる更新を許容できるように設計した。
• 既存の再評価済みラベル（ReaL）と人間による評価済みサブセットを活用し、熟練者による検証済みデータに基づいた判断を根拠にした。

実験結果

リサーチクエスチョン

• RQ1 最先端のImageNetモデルがマルチラベル検証セットで残した誤りのうち、多ラベルの認識を意識して再評価した場合、どれくらいが実際には正しい予測であるか？
• RQ2 トップレベルの精度を達成しているにもかかわらず、依然として残存する誤りのタイプと深刻度は何か？
• RQ3 明確で重大な誤りに特化した、小規模な評価セットが、ImageNet全体に比べて将来的な進歩を測る上でより意味のあるベンチマークとして機能できるか？
• RQ4 ラベルノイズ、定義が不十分なクラス、多ラベルの曖昧さが、ImageNetにおける性能評価をどれほど歪めているか？
• RQ5 モデルの能力の進化に対応し、長期的なベンチマークの関連性を維持するためには、評価プロトコルをどのように改善すべきか？

主な発見

• トップモデルがマルチラベル検証セットで出した誤りの約50％（ほぼ半数）が、熟練者による再評価で「正しい予測」と再分類された。これは、モデルの性能が著しく低估されている可能性を示している。
• 残りの誤りの40％が「重大」と分類された。これは人間レビュアーが全員が一様に拒否する明らかな誤りであり、依然として顕著な非自明な失敗を示している。
• 最良のモデルは、人間による評価済みマルチラベルサブセットにおいて、熟練者ラッパーと同等またはそれ以上の性能を示しており、多くの場合に人間水準の理解に近いことが示唆された。
• 本研究では、ラベルノイズと定義が不十分なクラス定義が、ImageNetにおける進歩の正確な測定を妨げる主な要因のまま残っていることが明らかになった。
• 「ImageNet-M」として、重大な誤りの68例のサブセットを提案した。今後のモデルは、このベンチマークでほぼ完璧な正確性を達成すべきである。
• 著者らは、トップ-1評価よりも正確であるものの、包括的で更新可能でコミュニティが維持可能な評価セットが不足していることの問題を実証した。