[논문 리뷰] Bootstrapping the Relationship Between Images and Their Clean and Noisy Labels

Brandon Smart, Gustavo Carneiro|arXiv (Cornell University)|2022. 10. 17.

Water Systems and Optimization인용 수 4

한 줄 요약

이 논문은 사전에 레이블이 지정된 청소된 데이터셋이 필요 없이 이미지, 청소된 레이블, 노이즈가 있는 레이블 간의 관계를 학습하는 삼단계 학습 알고리즘을 제안한다. 자기지도학습을 통한 사전학습, 신뢰도가 높은 청소된 데이터 집합을 식별하기 위한 조기 정지, 나머지 데이터를 재레이블링하기 위한 준지도학습을 통해, 단일이고 단순한 모델 아키텍처를 사용하여 비대칭적이고 인스턴스 의존적인 레이블 노이즈 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Many state-of-the-art noisy-label learning methods rely on learning mechanisms that estimate the samples' clean labels during training and discard their original noisy labels. However, this approach prevents the learning of the relationship between images, noisy labels and clean labels, which has been shown to be useful when dealing with instance-dependent label noise problems. Furthermore, methods that do aim to learn this relationship require cleanly annotated subsets of data, as well as distillation or multi-faceted models for training. In this paper, we propose a new training algorithm that relies on a simple model to learn the relationship between clean and noisy labels without the need for a cleanly labelled subset of data. Our algorithm follows a 3-stage process, namely: 1) self-supervised pre-training followed by an early-stopping training of the classifier to confidently predict clean labels for a subset of the training set; 2) use the clean set from stage (1) to bootstrap the relationship between images, noisy labels and clean labels, which we exploit for effective relabelling of the remaining training set using semi-supervised learning; and 3) supervised training of the classifier with all relabelled samples from stage (2). By learning this relationship, we achieve state-of-the-art performance in asymmetric and instance-dependent label noise problems.

연구 동기 및 목표

• 청소된 레이블이 제공되지 않는 실제 데이터셋에서 인스턴스 의존적 레이블 노이즈(IDN) 문제를 해결한다.
• 사전에 레이블이 지정된 청소된 서브셋에 의존하지 않고 이미지, 노이즈가 있는 레이블, 청소된 레이블 간의 관계를 학습한다.
• 모델 딜리게이션을 제거하기 위해 종료 시점에 레이블을 제거하는 전략을 도입하여 종단 간 추론을 가능하게 한다.
• 단일이고 단순한 모델 아키텍처를 사용하여 비대칭적이고 인스턴스 의존적인 레이블 노이즈 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 대조 학습(예: SimCLR)을 사용하여 전체 훈련 세트에서 자기지도학습 사전학습을 수행하여 강력한 이미지 표현을 학습한다.
• 노이즈가 있는 레이블을 예측하기 위해 'null' 레이블을 사용하여 분류기 학습을 수행하고, 조기 정지를 통해 높은 신뢰도 예측의 부분집합을 의사-청소된 집합으로 식별한다.
• 부트스트래핑 중에 노이즈 전이 샘플 밸런싱을 적용하여 기존으로 올바른 샘플들에 대한 편향을 방지하고 다양한 노이즈 전이가 반영되도록 보장한다.
• 식별된 청소된 집합을 준지도학습 단계에서 활용하여 이미지, 노이즈가 있는 레이블, 청소된 레이블 간의 관계를 명시적으로 학습하고 나머지 데이터의 효과적인 재레이블링을 가능하게 한다.
• MixUp 및 강력한 데이터 증강 기법을 사용하여 재레이블된 샘플을 기반으로 전체 데이터셋에 대해 최종 지도학습을 수행하여 일반화 성능을 향상시킨다.
• 훈련 중에 노이즈가 있는 레이블을 무작위로 'null' 레이블로 대체하는 '레이블 드롭핑' 전략을 도입하여 딜리게이션의 필요성을 제거하고, 레이블이 지정된 샘플과 지정되지 않은 샘플 모두에 대한 추론을 가능하게 한다.

Figure 1: On the left, we show a ‘normal’ deep neural network model used for noisy label learning tasks. On the right, we present a ‘modified’ model that can learn the relationship between images $\mathbf{x}$ , noisy labels $\tilde{\mathbf{y}}$ and clean labels $\mathbf{y}$ , similar to those used b

실험 결과

연구 질문

• RQ1 사전에 레이블이 지정된 청소된 데이터셋에 접근할 수 없는 조건에서 모델이 이미지, 노이즈가 있는 레이블, 청소된 레이블 간의 관계를 학습할 수 있는가?
• RQ2 자기지도학습, 조기 정지, 준지도학습을 조합한 삼단계 부트스트래핑 프로세스가 인스턴스 의존적 노이즈 환경에서 재레이블링 정확도를 향상시키는가?
• RQ3 부트스트래핑 중에 노이즈 전이 밸런싱을 적용하면 선택된 청소된 집합의 편향을 방지하고 후속 재레이블링 성능을 향상시키는가?
• RQ4 제안된 방법이 단일이고 단순한 모델 아키텍처를 사용하여 비대칭적이고 인스턴스 의존적 레이블 노이즈 벤치마크에서 최신 기술 성능을 달성하는가?
• RQ5 '레이블 드롭핑' 전략이 딜리게이션의 필요성을 제거하면서도 노이즈가 있는 샘플과 청소된 샘플 모두에서 성능을 유지할 수 있는가?

주요 결과

• CIFAR-10에서 40%의 비대칭 레이블 노이즈 조건에서 95.85%의 최신 기술 정확도를 달성하여 기존 방법들을 능가한다.
• 부트스트래핑 단계 이후 모델은 91.41%의 정확도를 기록하며, 준지도학습 이후 94.98%로 향상되고, MixUp 및 강력한 증강 기법을 사용한 최종 학습 후 95.85%로 상승한다.
• 자기지도학습 사전학습을 통해 부트스트래핑된 청소된 집합의 오류 수가 사전학습 없이 369건에서 사전학습 시 21건으로 감소하여 청소된 집합의 품질이 크게 향상된다.
• 부트스트래핑 학습 중 강력한 증강 기법을 사용하면 청소된 집합의 오류 수가 증강 없이 579건에서 31건으로 감소하여 강력한 증강 기법의 정규화 효과를 입증한다.
• '레이블 드롭핑' 전략을 통해 딜리게이션 없이도 노이즈가 있는 샘플과 청소된 샘플 모두에 대한 직접 추론이 가능해져 배포 및 모델 서빙을 단순화한다.
• 기존 최신 기술 방법들이 복잡한 이중 모델 아키텍처(예: DivideMix)를 필요로 하는 것과 달리, 이 방법은 단일 모델 아키텍처를 사용하여 인스턴스 의존적이고 비대칭 레이블 노이즈 벤치마크에서 최신 기술 성능을 달성한다.

Figure 2: Our proposed algorithm. The bootstrapping stage consists of self-supervised pre-training, followed by early-stopping classification training to identify a small set of confidently relabelled samples (i.e., clean labelled samples). This set is then used to learn the relationship between ima