[논문 리뷰] Adaptive Sample Selection for Robust Learning under Label Noise

Deep Patel, P. S. Sastry|arXiv (Cornell University)|2021. 06. 29.

Machine Learning and Data Classification참고 문헌 44인용 수 6

한 줄 요약

이 논문은 레이블 노이즈 하에서 강력한 딥 러닝을 위한 적응형 샘플 선택 방법인 BARE(BAtch REweighting)를 제안한다. 이 방법은 노이즈 비율 추정치, 청소된 검증 데이터, 추가 하이퍼파라미터를 요구하지 않고, 배치 단위 손실 통계—특히 클래스별 손실 평균 및 표준편차—를 사용하여 동적으로 샘플을 선택한다. BARE는 최소한의 계산 오버헤드로 MNIST, CIFAR-10, Clothing-1M에서 최신 기술 수준의 강성과 성능을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be susceptible to memorization or overfitting in the presence of noisily-labelled data. For the problem of robust learning under such noisy data, several algorithms have been proposed. A prominent class of algorithms rely on sample selection strategies wherein, essentially, a fraction of samples with loss values below a certain threshold are selected for training. These algorithms are sensitive to such thresholds, and it is difficult to fix or learn these thresholds. Often, these algorithms also require information such as label noise rates which are typically unavailable in practice. In this paper, we propose an adaptive sample selection strategy that relies only on batch statistics of a given mini-batch to provide robustness against label noise. The algorithm does not have any additional hyperparameters for sample selection, does not need any information on noise rates and does not need access to separate data with clean labels. We empirically demonstrate the effectiveness of our algorithm on benchmark datasets.

연구 동기 및 목표

• 대규모 데이터셋에서 레이블 노이즈에 의한 딥 네URAL 네트워크의 과적합 문제를 해결하기 위해.
• 강력한 학습 알고리즘에서 외부 청소된 데이터 또는 노이즈 비율에 대한 사전 지식에 의존하지 않도록 하기 위해.
• 추가 하이퍼파라미터가 없는, 적응형이면서 효율적인 샘플 선택 전략을 개발하기 위해.
• 보조 네트워크나 복잡한 학습 체계 없이도 대칭적이고 클래스 조건부 레이블 노이즈에 대해 강성과 일반화 성능을 향상시키기 위해.

제안 방법

• BARE는 클래스별 배치 통계—손실 값의 평균 및 표준편차—를 사용하여 각 미니배치 내에서 샘플 선택을 위한 동적 임계값을 계산한다.
• 임계값 이하의 손실 값을 가진 샘플(평균에서 표준편차의 일부를 뺀 값)은 학습에 선택된다.
• 임계값은 각 미니배치 및 클래스별로 재계산되며, 실시간 손실 동적 변화에 기반한 적응형 커리큘럼 학습이 가능하다.
• 이 방법은 보조 네트워크, 별도의 청소된 데이터, 또는 노이즈 비율 추정이 필요 없어 경량이며 확장성이 뛰어나다.
• 샘플 선택은 현재 배치에서 관측된 손실 값에만 기반하므로, 학습 중 모델 상태 변화에 적응 가능하다.
• 표준 backpropagation와 함께 엔드 투 엔드로 구현되며, 손실 필터링을 제외하고는 핵심 학습 루프에 대한 수정이 필요 없다.

실험 결과

연구 질문

• RQ1 노이즈 비율이나 청소된 데이터에 대한 사전 지식 없이도 레이블 노이즈에 적응할 수 있는 샘플 선택 전략을 설계할 수 있는가?
• RQ2 배치 기반 손실 통계는 레이블 노이즈 하에서 신뢰할 수 있는 샘플을 선택할 때 정적 또는 학습된 임계값과 비교해 어떻게 성능을 냈는가?
• RQ3 동적이고 클래스 인식 기반의 임계값 전략은 노이즈 있는 학습에서 일반화 및 강성 향상에 얼마나 기여하는가?
• RQ4 정확도, 효율성, 하이퍼파라미터 민감도 측면에서 BARE는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 이 방법은 다양한 배치 크기와 높은 클래스 수 상황에서도 강건한가?

주요 결과

• MNIST에서 대칭 레이블 노이즈 50% 조건에서 BARE는 테스트 정확도 95.31%를 달성하여 CCE 및 기타 베이스라인을 능가한다.
• CIFAR-10에서 클래스 조건부 노이즈 40% 조건에서 BARE는 70.63%의 정확도를 기록하여 고노이즈 환경에서도 강력한 강성과 성능을 보여준다.
• 40% 노이즈 조건에서 BARE는 약 80%의 샘플을 에포크당 선택하며, 노이즈 비율 입력 없이도 기대되는 청소된 샘플 비율과 밀도를 잘 유지한다.
• 기본적인 크로스 엔트로피 학습과 비슷한 시간 내에 실행되며, MR 및 MN과 같은 베이스라인은 최대 8배 더 오래 걸린다.
• BARE는 배치 크기에 민감하지 않으며, MNIST 및 CIFAR-10에서 64, 128, 256 배치 크기 모두에서 일관된 성능을 유지한다.
• 노이즈 비율 잘못 추정에 대해서도 성능 저하가 없으며, CoT, CoT+, CL은 잘못된 노이즈 비율 입력에 매우 민감한 반면 BARE는 그렇지 않다.