[논문 리뷰] Learning from Noisy Labels with Deep Neural Networks

Sainbayar Sukhbaatar, Rob Fergus|arXiv (Cornell University)|2014. 01. 01.

Machine Learning and Data Classification인용 수 12

한 줄 요약

이 논문은 백프로파게이션 중에 레이블 노이즈를 모델링하고 보정하는 적응형 노이즈 레이어를 도입하여 딥 컨volution 네트워크를 위한 노이즈 인식 학습 방법을 제안한다. 끝내기 학습 과정에서 노이즈 파라미터를 추정함으로써, 잘못된 레이블을 포함한 데이터셋에서 모델의 강건성을 크게 향상시키며, ImageNet 및 기타 벤치마크에서 뛰어난 성능을 보여준다.

ABSTRACT

The availability of large labeled datasets has allowed Convolutional Network models to achieve impressive recognition results. However, in many settings manual annotation of the data is impractical; instead our data has noisy labels, i.e. there is some freely available label for each image which may or may not be accurate. In this paper, we explore the performance of discriminatively-trained Convnets when trained on such noisy data. We introduce an extra noise layer into the network which adapts the network outputs to match the noisy label distribution. The parameters of this noise layer can be estimated as part of the training process and involve simple modifications to current training infrastructures for deep networks. We demonstrate the approaches on several datasets, including large scale experiments on the ImageNet classification benchmark.

연구 동기 및 목표

• 대규모 실세계 응용에서 흔한 잘못되거나 노이즈가 있는 레이블을 포함한 데이터셋에서 딥 신경망을 훈련시키는 과제를 해결하기 위해.
• 청결한 레이블이나 복잡한 데이터 필터링을 요구하지 않고도 훈련 중에 레이블 노이즈를 명시적으로 모델링하는 방법을 개발하기 위해.
• 노이즈가 있는 지도 학습 환경에서 분류 기반으로 훈련된 ConvNets의 일반화 능력과 정확도를 향상시키기 위해.
• 기존 딥 러닝 훈련 파이프라인에 최소한의 아키텍처 변경으로 노이즈 모델링을 원활하게 통합하기 위해.

제안 방법

• 진짜 레이블이 주어졌을 때 노이즈가 있는 레이블의 조건부 확률을 모델링하는 미분 가능한 노이즈 레이어를 도입하기 위해.
• 경사 하강법를 사용하여 훈련 과정에서 노이즈 전이 행렬을 추정하기 위해.
• 노이즈 레이어를 고려한 교차 엔트로피 손실 함수를 수정하여 엔드 투 엔드 최적화를 가능하게 하기 위해.
• 최종 분류 레이어 뒤에 노이즈 레이어를 적용하여 네트워크가 관측된 노이즈가 있는 레이블 분포에 맞게 예측을 적응시킬 수 있도록 하기 위해.
• 표준 백프로파게이션을 사용하여 모델을 훈련시키며, 노이즈 파라미터를 네트워크 가중치와 함께 동시에 업데이트하기 위해.
• 노이즈 레이어 파라미터를 경험적 레이블 분포로 초기화하여 빠른 수렴을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 청결한 레이블이나 데이터 정제를 요구하지 않고도 노이즈가 있는 레이블을 포함한 데이터셋에서 딥 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 훈련 중에 레이블 노이즈를 명시적으로 모델링하면 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ3 오직 노이즈가 있는 레이블만을 사용하여도 훈련 중에 노이즈 전이 행렬을 신뢰성 있게 추정할 수 있는가?
• RQ4 제안된 방법은 노이즈가 있는 레이블을 포함한 대규모 벤치마크인 ImageNet에서 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 방법은 훈련 레이블이 상당한 노이즈로 손상된 경우조차도 ImageNet에서 뚜렷한 정확도 향상을 달성한다.
• 노이즈 레이어를 통해 레이블 불확실성을 명시적으로 모델링함으로써 네트워크가 더 강건한 표현을 학습할 수 있다.
• 다양한 노이즈 수준에서 CIFAR-10 및 CIFAR-100을 포함한 여러 데이터셋에서 높은 성능을 유지한다.
• 훈련 중에 노이즈 파라미터가 성공적으로 추정되었으며, 레이블 노이즈의 엔드 투 엔드 학습 가능성을 입증한다.
• 기존 훈련 파이프라인에 최소한의 수정만으로도 적용 가능하므로 실세계 구현에 실용적이다.