[논문 리뷰] Uncertainty Based Detection and Relabeling of Noisy Image Labels

Jan M. Köhler, Maximilian Autenrieth외 1명|arXiv (Cornell University)|2019. 05. 29.

Industrial Vision Systems and Defect Detection인용 수 19

한 줄 요약

이 논문은 딥 앙상블과 몬테 카를로 드롭아웃에서 유도한 예측 불확실성과 함께, 노이즈가 있는 이미지 레이블을 탐지하고 재레이블링하기 위한 불확실성 기반 반복적 방법을 제안한다. 높은 불확실성으로 인해 레이블 노이즈가 의심되는 이미지를 식별하고, 훈련 중 모델의 행동을 활용함으로써, CIFAR-10 및 CIFAR-100 데이터셋에서 높은 탐지 정밀도(최대 94.3%)를 달성하고 일반화 성능을 향상시키며, 특히 오라클 재레이블링과 조합할 경우 더욱 뛰어난 성능을 발휘한다.

ABSTRACT

Deep neural networks (DNNs) are powerful tools in computer vision tasks. However, in many realistic scenarios label noise is prevalent in the training images, and overfitting to these noisy labels can significantly harm the generalization performance of DNNs. We propose a novel technique to identify data with noisy labels based on the different distributions of the predictive uncertainties from a DNN over the clean and noisy data. Additionally, the behavior of the uncertainty over the course of training helps to identify the network weights which best can be used to relabel the noisy labels. Data with noisy labels can therefore be cleaned in an iterative process. Our proposed method can be easily implemented, and shows promising performance on the task of noisy label detection on CIFAR-10 and CIFAR-100.

연구 동기 및 목표

• 딥 러닝 데이터셋에서의 레이블 노이즈 문제를 다루며, 이는 모델의 일반화 성능 저하와 과적합을 유도한다.
• 진짜 레이블에 대한 사전 지식 없이도 노이즈 레이블을 탐지할 수 있는 방법을 개발한다.
• 불확실성 추정치를 활용해 노이즈가 있는 이미지에 대해 반복적인 재레이블링을 가능하게 하여 모델 성능을 향상시킨다.
• 다양한 데이터셋과 아키텍처에서 대칭 노이즈와 쌍 노이즈와 같은 현실적인 노이즈 패턴에 대해 방법을 평가한다.

제안 방법

• 추론 중 각 이미지의 예측 불확실성을 추정하기 위해 딥 앙상블과 몬테 카를로 드롭아웃을 사용한다.
• 다중 순환 전파 동안의 변동 비율, 소프트맥스 출력의 표준편차, 최대 소프트맥스 확률 등의 불확실성 통계량을 계산한다.
• 기대값 최대화(EM)를 적용하여 불확실성 점수에 대해 베타 분포의 혼합 모델을 피팅함으로써, 노이즈 레이블 탐지에 적응형 임계값 설정이 가능하도록 한다.
• 예측이 진정된 레이블에서 노이즈가 있는 레이블로 전환되는 시점을 탐지하기 위해, 훈련 중 불확실성의 추세(예: 소프트맥스 벡터의 표준편차)를 모니터링함으로써 최적의 재레이블링 에포크를 식별한다.
• 반복적인 정제 과정을 구현: 노이즈 레이블 탐지 → 모델 예측 또는 오라클 레이블을 사용한 재레이블링 → 재학습
• 적합된 분포에 기반해 동적으로 임계값을 조정함으로써 탐지의 선택도를 제어하며, 노이즈 감소에 따라 가짜 양성 결과를 줄인다.

실험 결과

연구 질문

• RQ1 딥 앙상블과 MC 드롭아웃에서 유도한 예측 불확실성은 이미지 분류에서 깨끗한 레이블과 노이즈가 있는 레이블을 효과적으로 구분할 수 있는가?
• RQ2 훈련 중 불확실성 지표의 시간적 행동은 노이즈가 있는 이미지의 재레이블링에 가장 적합한 시점을 어떻게 도와주는가?
• RQ3 반복적인 불확실성 기반 필터링은 대칭 노이즈와 쌍 노이즈가 있는 데이터셋에서 모델의 일반화 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 노이즈 예제 수가 감소함에 따라, 노이즈 레이블 탐지 정밀도가 여러 반복 주기 동안 어떻게 변화하는가?
• RQ5 진짜 레이블이 없이도 훈련 중 모델의 행동만을 기반으로 불확실성 기반 탐지가 효과적으로 사용될 수 있는가?

주요 결과

• 딥 앙상블과 MC 드롭아웃의 조합이 가장 강력한 불확실성 추정치를 제공하며, 대칭 노이즈가 40%인 CIFAR-10에서 탐지 정밀도 94.3%를 달성했다.
• 변동 비율과 최대 소프트맥스 확률이 대칭 노이즈 및 쌍 노이즈 설정 모두에서 노이즈 레이블 탐지에 가장 효과적인 불확실성 통계량이었다.
• 다섯 번의 반복 후 노이즈 레이블 수가 20,000(40%)에서 10,773(21.5%)로 감소했으며, 후반 단계에서 탐지 정밀도가 0.722로 하락했다.
• 오라클 재레이블링과 조합했을 때, CIFAR-10에서 모델 정확도가 77.3%에서 84.7%로 상승하여 반복적 정제 과정의 효과를 입증했다.
• 불확실성 추세—초기 감소 후 재차 증가하는 경향—은 최적의 재레이블링 에포크를 식별하는 신뢰할 수 있는 신호를 제공했으며, 특히 다중 전파 동안 소프트맥스 출력의 표준편차가 강력한 힌트로 작용했다.
• EM를 통해 피팅된 베타 분포의 혼합은 불확실성 분포를 모델링하는 데 효과적인 방법을 제공했으며, 시간이 지남에 따라 탐지 선택도를 향상시키는 데 기여한 적응형 임계값 설정을 가능하게 했다.