[논문 리뷰] When does dough become a bagel? Analyzing the remaining mistakes on ImageNet

Vijay K. Vasudevan, Benjamin Caine외 3명|arXiv (Cornell University)|2022. 05. 09.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 최신 ImageNet 모델들이 다중 레이블 검증 세트에서 남긴 잔여 오류를 분석하여, 거의 반수(약 50%)의 '오류'가 전문가 재평가 시 실제로 올바른 예측임을 드러내며, 나머지 40%는 뚜렷하고 명백한 오류임을 규명한다. 저자들은 향후 모델 성과 향상을 더 잘 측정하기 위해 이러한 심각한 오류들을 담은 68개 예제의 기준인 ImageNet-M을 제안한다.

ABSTRACT

Image classification accuracy on the ImageNet dataset has been a barometer for progress in computer vision over the last decade. Several recent papers have questioned the degree to which the benchmark remains useful to the community, yet innovations continue to contribute gains to performance, with today's largest models achieving 90%+ top-1 accuracy. To help contextualize progress on ImageNet and provide a more meaningful evaluation for today's state-of-the-art models, we manually review and categorize every remaining mistake that a few top models make in order to provide insight into the long-tail of errors on one of the most benchmarked datasets in computer vision. We focus on the multi-label subset evaluation of ImageNet, where today's best models achieve upwards of 97% top-1 accuracy. Our analysis reveals that nearly half of the supposed mistakes are not mistakes at all, and we uncover new valid multi-labels, demonstrating that, without careful review, we are significantly underestimating the performance of these models. On the other hand, we also find that today's best models still make a significant number of mistakes (40%) that are obviously wrong to human reviewers. To calibrate future progress on ImageNet, we provide an updated multi-label evaluation set, and we curate ImageNet-Major: a 68-example "major error" slice of the obvious mistakes made by today's top models -- a slice where models should achieve near perfection, but today are far from doing so.

연구 동기 및 목표

• 최신 ImageNet 모델들이 다중 레이블 검증 세트에서 남긴 잔여 오류의 타당성을 재평가하기 위해.
• 제기된 모델 오류가 다중 레이블 가능성에 주목하지 않아 생긴 것인지, 실제로는 올바른 예측인지 확인하기 위해.
• 잔여 오류를 유형과 심각도로 분류하고 평가 기준을 보정하기 위해.
• 가장 명백하고 명백한 오류에 초점을 맞춘 고도의 유용성 있는 기준인 ImageNet-M을 만들기 위해.
• 레이블 업데이트와 커뮤니티 기여를 허용하는 개선된 동적 다중 레이블 평가 프로토콜을 주장하기 위해.

제안 방법

• ViT-3B와 Greedy Soups라는 두 개의 최신 모델이 다중 레이블 검증 세트에서 내는 모든 오류를 수작업으로 검토하고 재평가하였다.
• 전문가 패anel의 합의를 바탕으로 다중 레이블 유효성과 의미적 경계를 중시하여 예측을 올바름 또는 잘못됨으로 재분류하였다.
• 오류를 유형(예: 잘못된 분류, 과도한 해석, 부족한 해석 등)과 심각도(심각 vs. 경미)로 분류하였다.
• 68개의 예제로 구성된 '심각한 오류' 서브셋을 식별하였으며, 이는 인간 심사자가 일치하여 기각하는 뚜렷한 잘못된 예측들로, ImageNet-M의 핵심이 되었다.
• ImageNet-M이 종합적인 레이블링, 버전 관리, 향후 커뮤니티 업데이트를 수용할 수 있도록 설계하였다.
• 기존의 재평가된 레이블(Reassessed Labels, ReaL)과 인간 평가 기반 서브셋을 활용하여 판단을 전문가가 검증한 데이터에 기반시켰다.

실험 결과

연구 질문

• RQ1 최신 ImageNet 모델들이 다중 레이블 검증 세트에서 내는 잔여 오류 중, 다중 레이블 인식을 고려해 재평가했을 때 실제로 올바른 예측인 비율은 얼마인가?
• RQ2 높은 top-1 정확도를 달성한 최신 모델들에서도 지속되는 오류의 유형과 심각도는 무엇인가?
• RQ3 명백하고 심각한 오류들로 구성된 정교하게 선별된 소규모 평가 세트가 전체 ImageNet보다 미래 성과 측정에 더 의미 있는 기준이 될 수 있는가?
• RQ4 레이블 노이즈, 정의가 불명확한 클래스, 다중 레이블의 모호함이 ImageNet에서의 성능 평가에 얼마나 심각하게 영향을 미치는가?
• RQ5 모델 능력의 변화를 반영하고 장기적인 기준의 관련성을 유지하기 위해 평가 프로토콜는 어떻게 개선될 수 있는가?

주요 결과

• 최신 모델들이 다중 레이블 검증 세트에서 내는 오류의 약 50%가 전문가 재평가를 통해 올바른 예측로 재분류되었으며, 이는 모델 성능이 상당히 과소 평가되었음을 시사한다.
• 잔여 오류의 40%가 '심각한' 오류로 분류되었으며, 이는 인간 심사자가 일치하여 기각하는 뚜렷한 잘못된 예측임을 의미한다. 이는 여전히 존재하는 비차별적인 실패를 시사한다.
• 최고의 모델들은 인간 평가 기반 다중 레이블 서브셋에서 전문가 인간 평가자들과 비교해도 성능이 유사하거나 이를 초월하며, 많은 경우 인간 수준의 이해도를 보이고 있음을 시사한다.
• 본 연구는 레이블 노이즈와 정의가 불명확한 클래스 정의가 ImageNet에서 성과 측정의 정확성을 떨어뜨리는 핵심 도전 과제로 남아 있음을 드러냈다.
• 심각한 오류들로 구성된 68개 예제의 서브셋인 ImageNet-M은 향후 모델이 거의 완벽한 정확도를 달성해야 할 집중적 기준으로 제안된다.
• 저자들은 다중 레이블 평가가 top-1보다 더 정확하지만, 종합적이고 업데이트 가능한, 커뮤니티가 유지 관리할 수 있는 평가 세트의 부족으로 인해 어려움을 겪고 있음을 입증했다.