[논문 리뷰] Iterative Learning with Open-set Noisy Labels

Yisen Wang, Weiyang Liu외 5명|arXiv (Cornell University)|2018. 03. 31.

Machine Learning and Data Classification참고 문헌 34인용 수 32

한 줄 요약

이 논문은 개방집합 노이즈 레이블이 포함된 데이터셋에서 딥 컨volution 네트워크를 안정적으로 훈련시키기 위한 반복적 학습 프레임워크를 제안한다—여기서 잘못 레이블링된 샘플의 진짜 클래스는 알려진 훈련 클래스 외부에 있다. 반복적 노이즈 레이블 탐지, 대비 특징 학습을 위한 시아모닉 네트워크, 그리고 손실 가중치를 조정하는 재가중 모듈을 결합함으로써, CIFAR-10, ImageNet, 그리고 실제 웹 검색 데이터셋에서 최신 기술을 초월한 성능을 달성하였으며, 20% 개방집합 노이즈가 있는 ImageNet에서 71.43%의 Top-1 정확도를 기록하였다.

ABSTRACT

Large-scale datasets possessing clean label annotations are crucial for training Convolutional Neural Networks (CNNs). However, labeling large-scale data can be very costly and error-prone, and even high-quality datasets are likely to contain noisy (incorrect) labels. Existing works usually employ a closed-set assumption, whereby the samples associated with noisy labels possess a true class contained within the set of known classes in the training data. However, such an assumption is too restrictive for many applications, since samples associated with noisy labels might in fact possess a true class that is not present in the training data. We refer to this more complex scenario as the extbf{open-set noisy label} problem and show that it is nontrivial in order to make accurate predictions. To address this problem, we propose a novel iterative learning framework for training CNNs on datasets with open-set noisy labels. Our approach detects noisy labels and learns deep discriminative features in an iterative fashion. To benefit from the noisy label detection, we design a Siamese network to encourage clean labels and noisy labels to be dissimilar. A reweighting module is also applied to simultaneously emphasize the learning from clean labels and reduce the effect caused by noisy labels. Experiments on CIFAR-10, ImageNet and real-world noisy (web-search) datasets demonstrate that our proposed model can robustly train CNNs in the presence of a high proportion of open-set as well as closed-set noisy labels.

연구 동기 및 목표

• 훈련 세트에 포함되지 않은 진짜 클래스를 가진 잘못 레이블링된 샘플이 존재하는 경우(즉, 개방집합 노이즈 레이블), 딥 네트워크를 훈련시키는 데 도전하는 문제를 해결하기 위해.
• 노이즈의 분포나 구조에 대한 가정에 의존하지 않는 방법을 개발하여, 실제 데이터 수집 환경에서의 강인한 학습을 가능하게 하기 위해.
• 노이즈 레이블 탐지, 특징 학습, 손실 재가중의 공동 최적화를 통해 개방집합 및 폐쇄집합 노이즈 레이블이 존재하는 상황에서 표현 학습과 분류 정확도를 향상시키기 위해.
• 정확한 레이블이 제공되지 않는 실제 웹 검색 데이터셋에서의 복잡한 노이즈 환경을 대비하여, 대규모 벤치마크(CIFAR-10, ImageNet)와 실제 웹 노이즈 데이터셋에서의 효과성을 입증하기 위해.

제안 방법

• 반복적 프레임워크는 노이즈 레이블 탐지, 대비 손실을 가진 시아모닉 네트워크를 통한 특징 학습(청결 및 노이즈 샘플을 표현 공간에서 분리), 그리고 예측된 신뢰도 기반 손실 재가중을 번갈아 수행한다.
• 시아모닉 네트워크는 지도 레이블 정보 없이도 청결 및 노이즈 샘플의 표현을 서로 멀리 떨어지게 하여 특징의 구분 능력을 향상시킨다.
• 재가중 모듈은 예측된 청결 샘플에 대해 더 높은 학습 가중치를, 노이즈로 표시된 샘플에 대해 더 낮은 가중치를 할당함으로써 최적화 과정에서 잘못된 레이블의 영향을 줄인다.
• 노이즈 레이블 탐지는 반복적으로 수행되며, 모델이 더 나은 표현을 학습함에 따라 탐지 정확도가 점차 향상된다.
• 모델은 노이즈 비율이나 패턴에 대한 사전 가정 없이 종합적으로 훈련되며, 복잡한 노이즈 구조를 가진 실제 데이터에 적합하다.
• 모델은 합성 노이즈(Closed-set 및 Open-set)와 실제 웹 검색 데이터를 모두 대상으로 평가되었으며, 표준 벤치마크와 특징 전이 평가를 활용하였다.

실험 결과

연구 질문

• RQ1 진짜 클래스가 훈련 클래스에 포함되지 않은 개방집합 노이즈 레이블에 대해 딥 러닝 프레임워크가 효과적으로 탐지하고 영향을 완화할 수 있는가?
• RQ2 노이즈 레이블 탐지, 특징 학습, 손실 재가중의 반복적 개선이 복잡한 레이블 노이즈 상황에서 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ3 제안된 방법이 표준 벤치마크에서 개방집합 및 폐쇄집합 노이즈 레이블 환경 모두에서 최신 기술을 초월하는가?
• RQ4 웹 검색 이미지와 같이 모호하거나 잘못된 레이블이 존재하는 실제 노이즈 데이터에서 모델이 얼마나 강인한 표현을 학습할 수 있는가?

주요 결과

• 200개 클래스의 ImageNet 데이터셋에 20%의 개방집합 노이즈가 존재할 때, 제안된 방법은 Inception-v3를 사용해 71.43%의 Top-1 정확도를 달성하였으며, 두 번째로 좋은 방법(67.23% for CNN-CRF)을 크게 앞서갔다.
• 동일한 벤치마크에서 ResNet-50를 사용한 결과, 70.29%의 Top-1 정확도를 기록하였으며, 다음으로 좋은 베이스라인(66.54% for CNN-CRF)을 초월하였다.
• 정확한 테스트 세트가 없는 실제 웹 검색 데이터에서, 선형 분류기의 피지컬 튜닝을 통해 CIFAR-100에서 67.90%의 Top-1 정확도를 달성하였으며, 모든 베이스라인, 특히 CNN-CRF(63.94%)를 능가하였다.
• 모델는 강력한 일반화 능력을 보였으며, 폐쇄집합 노이즈 레이블 상황에서도 최신 기술과 비교해 유사하거나 더 높은 성능을 기록하여 광범위한 적용 가능성을 입증하였다.
• 제거 실험을 통해 노이즈 레이블 탐지, 시아모닉 대비 학습, 재가중 모두가 성능 향상에 기여하는 것으로 확인되었다.