[논문 리뷰] Open-set Label Noise Can Improve Robustness Against Inherent Label Noise

Hongxin Wei, Lue Tao외 2명|arXiv (Cornell University)|2021. 06. 21.

Machine Learning and Data Classification참고 문헌 77인용 수 30

한 줄 요약

이 논문은 열려 있는(open-set) 라벨 노이즈가 고유 라벨 노이즈에 대한 견고성에 대해 무해하거나 오히려 유익할 수 있음을 보이고, 모델 용량을 활용하고 일반화 및 OOD 탐지를 개선하는 Open-set Regularization with Dynamic Noisy Labels (ODNL)을 도입합니다.

ABSTRACT

Learning with noisy labels is a practically challenging problem in weakly supervised learning. In the existing literature, open-set noises are always considered to be poisonous for generalization, similar to closed-set noises. In this paper, we empirically show that open-set noisy labels can be non-toxic and even benefit the robustness against inherent noisy labels. Inspired by the observations, we propose a simple yet effective regularization by introducing Open-set samples with Dynamic Noisy Labels (ODNL) into training. With ODNL, the extra capacity of the neural network can be largely consumed in a way that does not interfere with learning patterns from clean data. Through the lens of SGD noise, we show that the noises induced by our method are random-direction, conflict-free and biased, which may help the model converge to a flat minimum with superior stability and enforce the model to produce conservative predictions on Out-of-Distribution instances. Extensive experimental results on benchmark datasets with various types of noisy labels demonstrate that the proposed method not only enhances the performance of many existing robust algorithms but also achieves significant improvement on Out-of-Distribution detection tasks even in the label noise setting.

연구 동기 및 목표

• 라벨 노이즈 하에서 열려 있는(open-set) 노이즈 라벨이 일반화에 무해하거나 유익할 수 있는지 조사합니다.
• 열려 있는 보조 데이터가 학습 다이나믹스와 고유 라벨 노이즈에 대한 견고성에 어떤 영향을 미치는지 분석합니다.
• 학습(clean 데이터 학습에 해를 주지 않으면서 신경망 용량을 소비하도록 동적 열린 세트 라벨을 사용하는 실용적 정규화 기법(ODNL)을 제안합니다.
• 방법을 SGD 노이즈와 이와 관련된 접근법(OE, SLN, label randomization)과 이론적으로 연결하고 관련 연구와 대조합니다.
• 라벨 노이즈 하에서 CIFAR-10/100 및 Clothing1M에서의 효과를 시연하고 OOD 탐지의 개선을 보입니다.

제안 방법

• 학습 중에 라벨 세트에서 균등하게 샘플링된 라벨을 임의로 동적으로 할당하는 열린 세트 보조 데이터와 함께 ODNL을 도입합니다.
• L_total = L1 + eta * L2로 학습 목표를 구성합니다. 여기서 L1은 깨끗한 데이터에 대한 표준 교차 엔트로피이고 L2는 열린 세트 데이터에 대해 동적 무작위 라벨과의 일관성을 강제합니다.
• ODNL이 무작위 방향의 충돌 없는 편향된 노이즈를 유도하여 평탄한 최소값으로 수렴하고 보수적인 OOD 예측을 촉진하는 SGD 노이즈 분석을 제공합니다.
• ODNL이 기존의 강건한 학습 방법(샘플 선택, 손실 보정, 강건 손실)과 결합되어 성능을 향상시킬 수 있음을 보여줍니다.
• ODNL을 관련 기법(OE, SLN, DisturbLabel)과 비교하고, 동적성의 차이와 고유 라벨 노이즈에 대한 강건성에 대한 영향을 논의합니다.

실험 결과

연구 질문

• RQ1 열려 있는(open-set) 노이즈 라벨이 고유 라벨 노이즈 하에서 일반화에 무해하거나 유익할 수 있을까?
• RQ2 동적으로 노이즈가 할당된 열린 세트 보조 데이터를 도입했을 때 학습 다이나믹스와 라벨 노이즈에 대한 견고성에 어떤 영향이 있을까?
• RQ3 ODNL이 OOD 탐지를 개선하고 기존의 강건한 학습 방법과 함께 작동할 수 있을까?
• RQ4 ODNL로 인한 SGD 노이즈와 다른 라벨 노이즈 정규화 접근 방식 사이의 관계는 무엇인가?
• RQ5 실제 노이즈 라벨을 가진 표준 벤치마크(CIFAR-10/100, Clothing1M)에서도 ODNL이 효과적인가?

주요 결과

• 보조 데이터 세트의 크기가 충분히 큰 경우 열려 있는 노이즈 라벨이 고유 라벨 노이즈에 대한 견고성에 무해하거나 유익할 수 있습니다.
• ODNL은 CIFAR-10/100 및 Clothing1M에서 일관되게 견고성을 향상시키고 라벨 노이즈 하에서의 OOD 탐지를 강화합니다.
• ODNL은 다양한 기존 강건한 학습 방법(예: Decoupling, F-correction, PHuber-CE, Co-teaching, JoCoR)의 성능을 향상시킵니다.
• SGD 노이즈 분석은 ODNL이 무작위 방향의 충돌 없는 편향된 노이즈를 도입해 평탄한 최소값에 도달하게 하고 보수적인 OOD 예측을 낳는다는 것을 보여줍니다.
• Outlier Exposure(OE)와 비교할 때, ODNL은 동적 노이즈를 제공하고 노이즈 라벨에 대한 견고성 측면에서 우수한 개선을 보입니다.