[논문 리뷰] Which Strategies Matter for Noisy Label Classification? Insight into Loss and Uncertainty

Wonyoung Shin, Jung-Woo Ha외 4명|arXiv (Cornell University)|2020. 08. 14.

Machine Learning and Data Classification참고 문헌 41인용 수 5

한 줄 요약

이 논문은 노이즈 있는 레이블 데이터셋에서 딥러닝 성능을 향상시키기 위해 손실이 낮고 불확실도가 높은 샘플(즉, 깨끗하고 정보가 풍부한 데이터)에 초점을 맞추는 새로운 강건한 훈련 방법인 FOCI(Focus On Clean and Informative samples)를 제안한다. 이 방법은 높은 손실을 보이는 샘플(노이즈가 있을 가능성이 높은 샘플)을 점차 가중치를 낮추는 방식으로 동적으로 작동한다. 광범위한 실험을 통해 FOCI는 Synthetic 및 실제 데이터셋(Clothing1M 포함)에서 최신 기술(SOTA)을 뛰어넘는 성능을 보이며, 다양한 신경망 아키텍처에 일반화됨을 입증한다.

ABSTRACT

Label noise is a critical factor that degrades the generalization performance of deep neural networks, thus leading to severe issues in real-world problems. Existing studies have employed strategies based on either loss or uncertainty to address noisy labels, and ironically some strategies contradict each other: emphasizing or discarding uncertain samples or concentrating on high or low loss samples. To elucidate how opposing strategies can enhance model performance and offer insights into training with noisy labels, we present analytical results on how loss and uncertainty values of samples change throughout the training process. From the in-depth analysis, we design a new robust training method that emphasizes clean and informative samples, while minimizing the influence of noise using both loss and uncertainty. We demonstrate the effectiveness of our method with extensive experiments on synthetic and real-world datasets for various deep learning models. The results show that our method significantly outperforms other state-of-the-art methods and can be used generally regardless of neural network architectures.

연구 동기 및 목표

• 노이즈 있는 레이블 하에서 훈련 중 손실와 불확실도가 어떻게 변화하는지 이해하고, 예를 들어 높은 손실 또는 낮은 손실, 높은 불확실도 또는 낮은 불확실도에 초점을 맞추는 대비되는 전략이 모델 성능에 어떻게 영향을 미치는지 분석하는 것.
• 실제 데이터에서 흔히 발생하는 비대칭 레이블 노이즈 문제를 해결하기 위해, 기존의 손실 기반 또는 불확실도 기반 방법이 노이즈 있는 샘플을 신뢰성 있게 식별하지 못하는 문제를 해결하는 것.
• 깨끗하고 정보가 풍부한 샘플을 우선시하면서 노이즈 데이터의 영향을 최소화하는 통합된, 아키텍처에 종속되지 않는 훈련 방법을 설계하는 것.
• 다양한 딥러닝 모델과 노이즈 수준(최대 70%의 극단적 노이즈 비율 포함)에서 이 방법의 강건성과 일반화 능력을 검증하는 것.

제안 방법

• FOCI는 손실이 낮고 불확실도가 높은 샘플에 더 높은 가중치를 할당하는 샘플 가중치 메커니즘을 사용한다. 이러한 샘플은 깨끗하고 정보가 풍부한 것으로 간주된다.
• 높은 손실을 보이는 샘플은 노이즈 레이블과 강하게 상관되어 있으므로, 특히 비대칭 노이즈 설정에서 가중치를 낮춘다.
• 이 방법은 훈련 중에 동적으로 샘플 가중치를 조정하며, 예열 단계를 거친 후 점진적으로 깨끗하고 정보가 풍부한 샘플에 초점을 맞춘다.
• 가중치 전략은 각각 손실과 불확실도를 측정하기 위해 교차 엔트로피 손실과 예측 엔트로피를 조합하여 기반으로 한다.
• FOCI는 어떤 딥러닝 아키텍처와도 호환되는 경량 모듈로 구현되어 있으며, 아키텍처 수정이나 추가 훈련 컴ponent가 필요로 하지 않는다.
• 기본 최적화 방식을 사용하여 엔드 투 엔드로 훈련되며, 학습 안정성을 높이기 위해 온도 조정된 가중치 함수를 사용한다.

실험 결과

연구 질문

• RQ1 대칭 및 비대칭 레이블 노이즈 하에서 훈련 중 샘플의 손실와 불확실도 값은 어떻게 변화하는가?
• RQ2 높은 손실이나 높은 불확실도 샘플에 초점을 맞추는 것과 같은 대비되는 전략이 보기에 모순되지만 성능 향상에 기여하는 이유는 무엇인가?
• RQ3 비대칭 레이블 노이즈 상황에서 손실와 불확실도 지표를 조합하여 깨끗하고 정보가 풍부한 샘플을 효과적으로 식별할 수 있는가?
• RQ4 저손실과 고불확실도에 기반한 통합된 가중치 전략이 다양한 데이터셋과 모델 아키텍처에서 얼마나 높은 강건성을 향상시킬 수 있는가?

주요 결과

• 실제 데이터셋인 Clothing1M에서 FOCI는 기존 SOTA 방법인 PENCIL(73.49%)과 MLNT(73.47%)를 뛰어넘는 73.78%의 정확도를 달성한다.
• 비대칭 노이즈 비율 40%가 적용된 CIFAR-100에서, FOCI는 저손실과 고불확실도 기반 가중치를 사용할 경우 59.5%의 정확도를 기록하며, 동일한 가중치(57.1%)나 저손실 전용 가중치(52.4%)보다 유의미하게 높은 성능을 보인다.
• 아키텍처 간 일반화 성능이 뛰어나며, FOCI는 모델 용량이 다를지라도 ResNet50, DenseNet, Wide ResNet에서 모두 최고의 정확도를 기록한다.
• 가중치 분포 분석 결과, 깨끗한 샘플은 더 높은 가중치를 받으며, 더 오랫동안 비영이 아닌 가중치를 유지하는 반면, 노이즈 샘플은 훈련 중 점차 가중치가 낮아지는 경향을 보인다.
• 비대칭 노이즈 설정에서는 저손실과 고불확실도 샘플이 깨끗한 데이터를 가장 신뢰할 수 있는 지표로 나타나며, 반면 고손실 샘플은 대부분 노이즈가 있는 것으로 확인된다.
• 제거 실험 결과, FOCI의 손실-불확실도 병합 가중치 전략은 동일 가중치 전략보다 성능이 떨어지므로, 최적의 성능을 내기 위해 두 지표 모두 필요하다는 것이 확인되었다.