[논문 리뷰] From ImageNet to Image Classification: Contextualizing Progress on Benchmarks

Dimitris Tsipras, Shibani Santurkar외 3명|arXiv (Cornell University)|2020. 05. 22.

Mobile Crowdsensing and Crowdsourcing인용 수 61

한 줄 요약

이 논문은 대규모 인간 주석을 활용하여 ImageNet의 데이터 수집 파이프라인에서의 편향과 불일치를 분석하고, 다객체 이미지, 라벨 검증 편향, 표준 정확도와 함께 인간 중심 평가의 필요성을 밝힌다.

ABSTRACT

Building rich machine learning datasets in a scalable manner often necessitates a crowd-sourced data collection pipeline. In this work, we use human studies to investigate the consequences of employing such a pipeline, focusing on the popular ImageNet dataset. We study how specific design choices in the ImageNet creation process impact the fidelity of the resulting dataset---including the introduction of biases that state-of-the-art models exploit. Our analysis pinpoints how a noisy data collection pipeline can lead to a systematic misalignment between the resulting benchmark and the real-world task it serves as a proxy for. Finally, our findings emphasize the need to augment our current model training and evaluation toolkit to take such misalignments into account. To facilitate further research, we release our refined ImageNet annotations at https://github.com/MadryLab/ImageNetMultiLabel.

연구 동기 및 목표

• ImageNet의 군중 기반 수집 과정이 실제 물체 인식 작업과의 편향 및 불일치를 어떻게 야기할 수 있는지 평가한다.
• 다객체 이미지 및 라벨 검증 편향과 같은 문제의 발생 빈도와 모델 평가에 미치는 영향을 정량화한다.
• Ground truth를 더 잘 포착하기 위한 정교한 주석 파이프라인을 제안하고 이것이 모델 성능에 미치는 영향을 연구한다.
• ImageNet의 고정된 라벨 정확도를 보완하기 위해 인간 판단을 포함한 평가 지표를 옹호한다.

제안 방법

• 모델 예측을 통한 후보 라벨; 객체별 라벨링을 위한 분류 작업의 두 단계 주석 파이프라인을 개발하여 세밀한 이미지 주석을 얻는다.
• 여러 모델의 상위 5개 예측을 사용해 각 이미지의 후보 라벨을 생성한다.
• Contains 작업을 사용해 후보 라벨을 필터링하고 이후 Classify 작업으로 객체별 라벨과 주 객체를 할당한다.
• 다수 결정을 통한 합의 투표로 이미지당 객체 수와 주요 라벨을 추정한다.
• 벤치마크-작업 정렬성을 평가하기 위해 10,000개의 ImageNet 검증 이미지를 분석한다(클래스당 10개).
• 고정 이미지 라벨 정확도 외의 인간 중심 지표를 사용해 모델 예측과 인간 주석 Ground Truth를 비교한다.

실험 결과

연구 질문

• RQ1 ImageNet 라벨이 이미지의 실제 주요 객체 및 객체 수와 얼마나 일치하는가?
• RQ2 일반적인 데이터 수집 및 검증 선택이 결과 주석과 모델 평가에 어떤 편향을 가져오는가?
• RQ3 다객체 이미지와 라벨 모호성이 표준 top-1/top-5 정확도에 어떤 영향을 주는가?
• RQ4 인간이 관여하는 평가가 전통적 정확도 지표로 포착되지 않는 진전을 밝힐 수 있는가?

주요 결과

• ImageNet 이미지의 20% 이상이 복수 클래스의 객체를 포함하고 있어 다객체 이미지가 벤치마크에서 흔하다는 것을 시사한다.
• 다객체 이미지에서 단일 ImageNet 라벨로 평가할 때 모델 정확도가 크게 떨어지지만 다라벨 평가가 격차를 줄인다.
• 주석자는 Contains 작업에서 상호 배타적인 여러 라벨을 종종 검증하여 검증 프로세스의 편향을 드러낸다.
• 사람들은 때때로 ImageNet의 메인 객체와 의견 차이를 보이며 데이터셋 라벨과 지각된 주 객체 간의 불일치를 보여준다.
• 더 자연스러운 평가는 예측이 이미지의 임의의 객체와 일치하거나 인간 주석에 따른 주요 객체와 일치하면 정답으로 간주하여 일부 편향을 완화한다.
• 최첨단 모델은 인간 관점에서 ImageNet 라벨에 매우 근접한 라벨을 예측하므로 개선이 분포 적합화를 반영하는 것이지 진정한 Ground-Truth의 진전은 아닐 수 있음을 시사한다.