[논문 리뷰] Training Convolutional Networks with Noisy Labels

Sainbayar Sukhbaatar, Joan Bruna외 3명|arXiv (Cornell University)|2014. 06. 09.

Machine Learning and Data Classification참고 문헌 31인용 수 515

한 줄 요약

이 논문은 소음 있는 레이블에 대해 강건성을 향상시키기 위해 레이블 뒤집힘과 이상치를 모델링하는 노이즈 적응형 레이어를 제안한다. 소프트맥스 위에 제약 조건이 붙은 선형 노이즈 레이어를 추가함으로써, 모델은 엔드 투 엔드 학습 중에 레이블 분포의 이탈을 보정하게 되며, 이로 인해 합성 및 실세계 소음 데이터셋(최대 120만 개의 이상치 이미지가 포함된 ImageNet 포함)에서 뚜렷한 정확도 향상을 달성한다.

ABSTRACT

The availability of large labeled datasets has allowed Convolutional Network models to achieve impressive recognition results. However, in many settings manual annotation of the data is impractical; instead our data has noisy labels, i.e. there is some freely available label for each image which may or may not be accurate. In this paper, we explore the performance of discriminatively-trained Convnets when trained on such noisy data. We introduce an extra noise layer into the network which adapts the network outputs to match the noisy label distribution. The parameters of this noise layer can be estimated as part of the training process and involve simple modifications to current training infrastructures for deep networks. We demonstrate the approaches on several datasets, including large scale experiments on the ImageNet classification benchmark.

연구 동기 및 목표

• 실세계에서 레이블이 신뢰할 수 없는 환경에서 소음 있는 레이블을 가진 데이터셋으로 훈련된 표준 ConvNets의 강건성에 대해 조사한다.
• 웹 스크래핑 또는 커뮤니티 기반으로 수집된 데이터셋과 같이 레이블 노이즈가 흔한 상황에서 딥 네트워크를 훈련하는 데 도전하는 문제를 해결한다.
• 정확한 레이블이 필요 없이 관측된 소음 있는 레이블 분포에 맞게 네트워크 출력을 적응시키는 단순하고 학습 가능한 노이즈 레이어를 제안한다.
• 합성 및 실세계 소음 데이터에 대해 제안된 방법의 효과성을 평가한다. 이는 최대 120만 개의 이상치 이미지를 포함한 ImageNet을 포함한다.

제안 방법

• 소프트맥스 레이어 위에 제약 조건이 붙은 선형 노이즈 레이어를 도입하여 레이블 노이즈를 모델링한다. 이 레이어는 역전파를 통한 엔드 투 엔드 학습이 가능하다.
• 레이블 뒤집힘 노이즈의 경우, 클래스 간 잘못된 레이블 부여 확률을 모델링하기 위해 학습 가능한 노이즈 행렬 Q를 사용한다.
• 이상치 노이즈의 경우, 별도의 노이즈 레이어가 이미지가 이상치임과 동시에 무작위 레이블이 할당될 확률을 모델링한다.
• 노이즈 레이어의 파라미터는 표준 최적화 기법을 사용하여 학습 과정에서 추정되며, 기존 딥 러닝 프레임워크에 대한 수정이 최소한이다.
• 이 방법은 이상치의 사전 확률을 제어하는 하이퍼파라미터 α를 사용한다. 이는 데이터에서 튜닝하거나 추정할 수 있다.
• 이 방법은 확장성이 뛰어나며, 최대 120만 개의 이상치 이미지를 포함한 대규모 데이터셋인 ImageNet에 적용 가능하다.

실험 결과

연구 질문

• RQ1 고도의 레이블 노이즈, 특히 레이블 뒤집힘과 이상치가 존재할 경우 표준 ConvNet의 성능은 어떻게 저하되는가?
• RQ2 간단하고 미분 가능한 노이즈 레이어가 딥 네트워크에서 레이블 뒤집힘과 이상치 노이즈에 대해 모델의 강건성을 향상시킬 수 있는가?
• RQ3 진짜 이상치 비율이 알려져 있지 않을 경우, 하이퍼파라미터 α의 선택에 대해 노이즈 적응형 모델의 성능은 얼마나 민감한가?
• RQ4 노이즈 적응형 레이어가 웹 스크래핑된 이미지나 Tiny Images와 같은 실세계 소음 데이터셋에서 측정 가능한 성능 향상을 제공하는가?

주요 결과

• 120만 개의 이상치 이미지(60%의 내재된 이미지 포함)가 포함된 ImageNet에서, 노이즈 적응형 모델은 표준 ConvNet 대비 상위-1 오차를 1.5% 감소시켰다.
• 추정된 이상치 비율이 약 50%인 Tiny Images 데이터셋에서, 노이즈 적응형 모델은 테스트 오차를 19.2%에서 18.8%로 감소시켜 상대적 개선률 2.1%를 달성했다.
• 0.9M개의 이미지와 1,000개의 ImageNet 클래스를 포함한 실세계 웹 이미지 데이터셋에서, 레이블 뒤집힘 노이즈 모델은 검증 오차를 48.8%에서 48.2%로 감소시켰다.
• α를 진짜 이상치 비율에서 ±15% 범위로 변형해도 성능 저하가 거의 없었으며, 하이퍼파라미터 선택에 대해 낮은 민감도를 보였다.
• 고수준의 노이즈가 존재하는 합성 데이터셋에서도 뚜렷한 성능 향상을 기록하여, 제안된 방법이 통제된 환경에서 효과적임을 입증했다.
• 기존 딥 러닝 프레임워크에 쉽게 구현 가능하며, 아키텍처의 주요 변경 없이 ImageNet과 같은 대규모 문제에까지 스케일링 가능하다.