[논문 리뷰] Are we done with ImageNet?

Lucas Beyer, Olivier J. Hénaff외 3명|arXiv (Cornell University)|2020. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 75

한 줄 요약

이 논문은 ReaL(Reassessed Labels)을 도입해 ImageNet 검증 데이터를 재주석하고, ImageNet의 최근 진전이 실제 progress를 과대평가하는 경향이 있으며 ReaL 진전이 원래 라벨과 다르게 나타난다는 점을 보여주며, 라벨 노이즈를 완화하는 두 가지 학습 개선점을 제안한다.

ABSTRACT

Yes, and no. We ask whether recent progress on the ImageNet classification benchmark continues to represent meaningful generalization, or whether the community has started to overfit to the idiosyncrasies of its labeling procedure. We therefore develop a significantly more robust procedure for collecting human annotations of the ImageNet validation set. Using these new labels, we reassess the accuracy of recently proposed ImageNet classifiers, and find their gains to be substantially smaller than those reported on the original labels. Furthermore, we find the original ImageNet labels to no longer be the best predictors of this independently-collected set, indicating that their usefulness in evaluating vision models may be nearing an end. Nevertheless, we find our annotation procedure to have largely remedied the errors in the original labels, reinforcing ImageNet as a powerful benchmark for future research in visual recognition.

연구 동기 및 목표

• ImageNet의 진전이 라벨링의 특이성(quirks)을 넘어 일반화되는지 평가한다.
• ImageNet 밸리데이션 라벨을 재평가하기 위한 견고하고 다중 라벨의 인간 주석 절차를 개발한다.
• 원래 ImageNet 정확도와 ReaL 정확도를 비교하여 실제 진전을 평가한다.
• 학습 중 ImageNet에서의 라벨 노이즈와 다중 객체 내용을 다루는 기술을 제안한다.

제안 방법

• 19개 모델의 제안을 모아 이미지넷 이미지에 대한 후보 라벨을 생성한 뒤, 개선된 정밀도와 높은 재현율을 보존하는 간결한 서브셋의 모델을 선별한다.
• 이미지당 후보 라벨당 전문가 5명의 주석을 크라우드소싱하고 Dawid–Skene 모델링을 적용해 진짜 라벨 중요도를 추정한다.
• ReaL 정확도를 재주석된 라벨 집합에 상위 1위 예측이 속하는 것으로 정의한다(다중 라벨 고려).
• 모델 세대별 ImageNet 정확도와 ReaL 정확도 간의 관계를 분석하여 일반화 대 라벨 편향을 평가한다.
• 다중 라벨 예측 및 클래스 동시 발생 편향을 조사하여 ImageNet의 잔여 오류와 편향을 이해한다.

실험 결과

연구 질문

• RQ1 ImageNet의 정확도가 인간 정렬된 재주석 라벨(ReaL)상의 진전을 신뢰성 있게 반영하는가?
• RQ2 현대의 ImageNet 모델은 원래의 라벨링 절차의 편향을 어느 정도 악용하는가?
• RQ3 대체 손실이나 정제된 데이터를 사용한 학습이 라벨 노이즈와 긴 학습으로 인한 과적합에 대한 견고성을 향상시키는가?
• RQ4 다중 라벨 또는 상위 k 예측이 인간의 지각 판단을 더 잘 반영하는가?

주요 결과

• 최근 모델의 ReaL 정확도 진전은 ImageNet 진전에 뒤처져 있어 인간 선호에 대한 일반화가 약함을 시사한다.
• 일부 최근 모델은 원래의 ImageNet 라벨을 넘어 ReaL 라벨 예측에 있어 우위를 보이며, 평가 지표로서 원래 라벨의 유용성이 감소하고 있음을 시사한다.
• ReaL 라벨은 상당한 라벨링 오류를 제거하며, ReaL이 시각 인식 진전을 더 충실하게 평가하는 벤치마크임을 시사한다.
• 다중 라벨 예측에서 시그모이드 로스로의 전환과 학습 세트의 라벨 정리라는 두 가지 간단한 학습 개선이 일관된 이득을 제공하며, 특히 더 긴 학습 일정에서 두드러진다.
• 훈련 데이터를 정리하고 시그모이드 로스를 사용하는 것이 상위 1위 및 ReaL 정확도에서 주목할 만한 이득을 만들어내며, 더 긴 학습 주기에서 라벨 노이즈가 한계 요인임을 시사한다.