[논문 리뷰] Is one annotation enough? A data-centric image classification benchmark for noisy and ambiguous label estimation

Lars Schmarje, Vasco Grossmann외 9명|Helmholtz Centre for Ocean Research Kiel (GEOMAR)|2022. 07. 13.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 10개의 실제 도메인 데이터셋을 대상으로 한 이미지 분류를 위한 데이터 중심 벤치마크를 소개한다. 이 벤치마크는 이미지당 다수의 인간 레이블을 활용하여 노이즈 및 모호한 레이블의 영향을 평가한다. 레이블 개선(선생)과 모델 평가(학생)를 분리함으로써, 단일 레이블만으로는 부족하며, 다수의 평가자로부터 유도된 소프트 레이블이 모델의 강건성 향상과 과신뢰도 감소에 기여함을 입증한다.

ABSTRACT

High-quality data is necessary for modern machine learning. However, the acquisition of such data is difficult due to noisy and ambiguous annotations of humans. The aggregation of such annotations to determine the label of an image leads to a lower data quality. We propose a data-centric image classification benchmark with ten real-world datasets and multiple annotations per image to allow researchers to investigate and quantify the impact of such data quality issues. With the benchmark we can study the impact of annotation costs and (semi-)supervised methods on the data quality for image classification by applying a novel methodology to a range of different algorithms and diverse datasets. Our benchmark uses a two-phase approach via a data label improvement method in the first phase and a fixed evaluation model in the second phase. Thereby, we give a measure for the relation between the input labeling effort and the performance of (semi-)supervised algorithms to enable a deeper insight into how labels should be created for effective model training. Across thousands of experiments, we show that one annotation is not enough and that the inclusion of multiple annotations allows for a better approximation of the real underlying class distribution. We identify that hard labels can not capture the ambiguity of the data and this might lead to the common issue of overconfident models. Based on the presented datasets, benchmarked methods, and analysis, we create multiple research opportunities for the future directed at the improvement of label noise estimation approaches, data annotation schemes, realistic (semi-)supervised learning, or more reliable image collection.

연구 동기 및 목표

• 레이블 노이즈와 모호성이 이미지 분류 성능에 미치는 영향을 조사하는 것.
• 반감독 학습에서 레이블링 노력과 모델 성능 간의 관계를 정량화하는 것.
• 실제 이미지 분류 작업을 위한 데이터 중심 방법 평가를 위한 표준화된 벤치마크를 제공하는 것.
• 단일 하드 레이블이 데이터의 모호성을 포착하지 못함으로써 과신뢰도가 증가하는 모델이 만들어지는 것을 입증하는 것.
• 향상된 레이블 노이즈 추정, 레이블링 체계, 현실적인 반감독 학습에 대한 연구를 가능하게 하는 것.

제안 방법

• 두 단계로 구성된 벤치마크를 제안: (1) 다수의 레이블을 입력으로 사용한 레이블 개선, (2) 향상된 레이블에 대한 고정된 모델 평가.
• 선생-학생 프레임워크를 활용하여 선생 모델이 초기 레이블 추정을 개선하고, 학생 모델이 검증 세트에서 성능을 평가한다.
• 다양한 도메인(예: 야생 생물, 의료 영상, 농업 영상 등)을 포함하는 실제 데이터셋을 다수 활용하며, 각 이미지당 다수의 인간 레이블을 제공한다.
• PyTorch 및 TensorFlow와의 통합을 지원하기 위해 일반적인 데이터 로더를 활용하여 광범위한 알고리즘 호환성을 확보한다.
• 고정된 평가 모델을 사용하여 표준 지표(정확도, F1, AUC)를 측정함으로써 데이터 품질 향상에 기인한 성능 향상을 고립적으로 분석한다.
• 다양한 데이터 분포에서 레이블 개선 성능을 평가하기 위해 기준 방법(예: SGNP, SimCLR, SWAV)을 적용한다.

실험 결과

연구 질문

• RQ1 하나의 인간 레이블만으로는 이미지의 진정한 클래스 분포를 충분히 표현할 수 있는가?
• RQ2 이미지당 레이블 수가 후속 이미지 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 데이터 중심 방법이 실제 데이터셋에서 레이블 노이즈와 모호성의 영향을 얼마나 줄일 수 있는가?
• RQ4 다수의 평가자로부터 유도된 소프트 레이블 추정이 모델 일반화 능력 향상과 과신뢰도 감소에 기여하는가?
• RQ5 반감독 학습에서 레이블링 비용과 모델 성능 간 최적의 트레이드오프는 무엇인가?

주요 결과

• 다양한 인간 평가자 간의 일치율이 4%에서 100%까지 광범위하게 편차를 보임에 따라, 단일 레이블만으로는 이미지 데이터의 본질적 모호성을 포착하기에 부족함을 입증한다.
• 다수의 레이블은 진정한 클래스 분포를 보다 잘 근사함으로써 모델의 과신뢰도를 감소시킨다.
• 하드 레이블은 불확실성을 반영하지 못하며, 이로 인해 레이블이 모호한 상황에서도 모델이 과신뢰도를 가지게 된다.
• 벤치마크는 레이블 개선 방법이 초기 레이블이 노이즈가 많을 경우 후속 모델 성능을 크게 향상시킬 수 있음을 보여준다.
• 다수의 평가자로부터 유도된 소프트 레이블 추정은 모든 10개의 데이터셋에서 정확도와 F1 점수에 명확한 향상을 가져다주며, 더 신뢰할 수 있고 강건한 모델 훈련을 가능하게 한다.
• 평가 단계는 성능 향상이 모델 아키텍처 자체 때문이 아니라 개선된 데이터 품질 덕분임을 확인한다.