[논문 리뷰] A Simple Probabilistic Method for Deep Classification under Input-Dependent Label Noise

Mark Collier, Basil Mustafa외 3명|arXiv (Cornell University)|2020. 03. 15.

Machine Learning and Data Classification참고 문헌 46인용 수 12

한 줄 요약

이 논문은 입력에 의존적인(이분산성) 레이블 노이즈를 다루기 위해 확률적 딥러닝 방법을 제안한다. 이는 잠재 변수 생성 모델에 대한 부드러운 근사로 온도 매개변수를 가진 소프트맥스를 도입함으로써 이루어지며, 온도를 조절함으로써 기울기 추정의 편향과 분산을 균형 잡아 정확도, 로그우도, 校정성, 세그멘테이션 mIoU 향상에 기여한다. 이는 ImageNet-21k 및 PASCAL VOC/Cityscapes에서 최신 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Datasets with noisy labels are a common occurrence in practical applications of classification methods. We propose a simple probabilistic method for training deep classifiers under input-dependent (heteroscedastic) label noise. We assume an underlying heteroscedastic generative process for noisy labels. To make gradient based training feasible we use a temperature parameterized softmax as a smooth approximation to the assumed generative process. We illustrate that the softmax temperature controls a bias-variance trade-off for the approximation. By tuning the softmax temperature, we improve accuracy, log-likelihood and calibration on both image classification benchmarks with controlled label noise as well as Imagenet-21k which has naturally occurring label noise. For image segmentation, our method increases the mean IoU on the PASCAL VOC and Cityscapes datasets by more than 1% over the state-of-the-art model.

연구 동기 및 목표

• 실제 데이터셋에서 흔히 발생하는 입력에 의존적인(이분산성) 레이블 노이즈 하에서 딥 분류기 학습의 과제를 해결한다.
• 노이즈 레이블 내의 앨레아토릭 불확실성을 명시적으로 모델링하여 모델의 校정성과 예측 성능을 향상시킨다.
• 동분산성 가정을 초월하는 보다 체계적인 확률적 프레임워크를 제공함으로써 더 나은 불확실성 정량화를 가능하게 한다.
• 소프트맥스 온도가 편향-분산 트레이드오프 조절자로 작용함을 보이며, 학습 안정성과 성능 향상에 기여한다.
• 통제된 및 자연적인 레이블 노이즈 설정 하에서 이미지 분류 및 세그멘테이션 분야에서 최신 기준 성능을 달성한다.

제안 방법

• 클래스 유틸리티를 입력에 의존적인 분산을 가진 랜덤 변수로 모델링하는 잠재 변수 생성 과정을 가정하며, 이는 이분산성 레이블 노이즈를 반영한다.
• 생성 과정에서 이산적인 argmax 연산의 부드러운 근사로 온도 매개변수를 가진 소프트맥스를 사용하여 미분 가능한 학습을 가능하게 한다.
• 온도 매개변수는 낮은 온도일 경우 근사 편향과 높은 온도일 경우 기울기 분산 사이의 트레이드오프를 제어한다.
• 가정된 생성 과정 하에서 확률적 분류 모델의 로그우도를 추정하기 위해 몬테카를로 샘플링을 사용하여 모델을 학습한다.
• 깊은 신경망을 사용해 잠재 로짓의 평균과 분산을 매개변수화함으로써 입력에 의존적인 불확실성 모델링을 가능하게 한다.
• 온도 정규화된 소프트맥스를 통해 역전파를 수행하고 온도를 최적 성능을 위해 조정함으로써 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 입력에 의존적인(이분산성) 레이블 노이즈 하에서 딥 분류기를 효과적으로 학습할 수 있는가?
• RQ2 확률적 생성 모델 하에서 학습 시 소프트맥스 온도가 편향과 분산을 균형 잡는 데 어떤 역할을 하는가?
• RQ3 조절 가능한 온도를 가진 단순한 확률적 방법이 통제된 환경과 실제 세계의 노이즈 레이블 설정 모두에서 기존 최신 기준 기술보다 뛰어난 성능을 낼 수 있는가?
• RQ4 이분산성 불확실성 모델링이 ImageNet-21k와 같은 대규모 벤치마크에서 모델의 校정성과 예측 성능 향상에 기여하는가?
• RQ5 제안된 방법이 인간 애너테이션의 불확실성과 일치하는 의미 있는 불확실성 추정치(예: 픽셀별 분산)를 제공할 수 있는가, 특히 세그멘테이션 작업에서?

주요 결과

• 최적의 소프트맥스 온도 τ*는 1.0이 아니며, 이를 조정함으로써 통제된 레이블 노이즈가 있는 이미지 분류 벤치마크에서 정확도, 로그우도, 校정성 향상에 상당한 기여가 있다.
• 자연스럽게 발생하는 레이블 노이즈를 포함하는 ImageNet-21k에서, 이 방법은 최신 기준 성능을 달성하며 실제 데이터의 열악한 특성에 대한 강건성을 입증한다.
• 이미지 세그멘테이션에서, 최적 온도로 조정된 이분산성 모델은 PASCAL VOC와 Cityscapes 양쪽에서 최신 기준 모델 대비 평균 IoU를 1% 이상 향상시켰다.
• τ*에서의 이분산성 모델은 동분산성 모델과 τ=1.0 버전보다도 유의미하게 높은 성능을 보이며, 검증 및 테스트 세트에서 mIoU 측면에서 통계적으로 유의미한 차이(p < 0.001)를 보였다.
• 모델이 생성한 불확실성 히트맵은 객체 경계에서 더 높은 공간 정밀도를 보이며, 기대되는 고앨레아토릭 불확실성 영역과 일치한다.
• 기준 모델 대비 모델은 정성적으로 뛰어난 세그멘테이션 결과와 불확실성 추정치를 제공하며, 최적 온도에서 세분화된 불확실성 국소화가 향상되었다.