[논문 리뷰] Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels

Pengfei Chen, Junjie Ye외 3명|arXiv (Cornell University)|2020. 12. 08.

Machine Learning and Data Classification참고 문헌 51인용 수 10

한 줄 요약

이 논문은 클래스 조건부 레이블 노이즈 하에서 정확도 지표의 강건성을 증명하며, 노이즈가 있는 학습 데이터에서 정확도를 최대화하면 청소된 데이터에 대해 거의 최적의 분류기를 얻을 수 있음을 보여준다. 또한 기존에 이론적 근거 없이 사용되어 온 노이즈가 있는 검증 세트를 모델 선택에 활용하는 것의 타당성을 제시하며, 신뢰할 수 있는 초모수 튜닝과 조기 정지가 가능하게 한다. 이는 새로운 프레임워크인 Noisy Best Teacher and Student (NTS)를 통해 검증되었으며, CIFAR-10/100과 Clothing1M에서 실제 세계의 노이즈를 가진 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For multi-class classification under class-conditional label noise, we prove that the accuracy metric itself can be robust. We concretize this finding's inspiration in two essential aspects: training and validation, with which we address critical issues in learning with noisy labels. For training, we show that maximizing training accuracy on sufficiently many noisy samples yields an approximately optimal classifier. For validation, we prove that a noisy validation set is reliable, addressing the critical demand of model selection in scenarios like hyperparameter-tuning and early stopping. Previously, model selection using noisy validation samples has not been theoretically justified. We verify our theoretical results and additional claims with extensive experiments. We show characterizations of models trained with noisy labels, motivated by our theoretical results, and verify the utility of a noisy validation set by showing the impressive performance of a framework termed noisy best teacher and student (NTS). Our code is released.

연구 동기 및 목표

• 초모수 튜닝과 조기 정지에 노이즈가 있는 검증 세트를 사용하는 것의 이론적 근거를 제시하는 것 — 이는 이전에 공식적인 지원이 없었다.
• 특수한 강건한 손실 함수 없이도 충분히 많은 노이즈가 있는 샘플에서의 학습 정확도를 최대화하면 약간 최적의 분류기가 얻어짐을 보여주는 것.
• 노이즈가 있는 감독 하에서 모델의 행동을 특성화하여, 충분한 데이터가 있을 경우 최적의 성능으로 수렴함을 보여주는 것.
• 노이즈가 있는 검증 세트의 실용적 유용성을 새로운 프레임워크인 Noisy Best Teacher and Student (NTS)를 통해 검증하는 것 — 합성 및 실제 세계의 노이즈 기반 벤치마크에서 적용.

제안 방법

• 대각선 우세한 클래스 조건부 노이즈가 존재할 경우, 노이즈가 있는 분포에서의 정확도를 최대화하면 청소된 분포에서의 정확도도 최대화됨을 증명한다.
• VC 차원을 기반으로 한 일반화 경계를 도입하여, 큰 노이즈가 있는 데이터셋에서의 학습 정확도가 최적의 분류기를 근사함을 보여준다.
• 보류된 노이즈가 있는 검증 세트에서의 정확도가 진짜 노이즈가 있는 분포 정확도의 비편향 추정자임을 입증하여, 모델 선택에 사용하는 것이 이론적으로 타당함을 보여준다.
• 노이즈가 있는 검증 세트에서 가장 높은 정확도를 기록한 모델을 선정하여 교사 모델으로 삼고, 이를 기반으로 학생 모델을 재학습하는 Noisy Best Teacher and Student (NTS) 프레임워크를 제안한다.
• 표준적인 데이터 증강 및 학습 프로토콜을 사용하며, 공정한 비교를 위해 초모수는 노이즈가 있는 검증 세트를 통해 튜닝한다.
• 이론적 주장은 모델 행동의 시각화와 CIFAR-10/100, Clothing1M에서의 합성 및 실제 세계의 노이즈를 가진 광범위한 실험을 통해 검증된다.

실험 결과

연구 질문

• RQ1 정확도 지표 자체가 클래스 조건부 레이블 노이즈에 대해 강건한가? 즉, 노이즈가 있는 데이터에서 정확도를 최대화하면 청소된 데이터에서 최적의 성능을 달성할 수 있는가?
• RQ2 특수한 강건한 손실 함수 없이도 충분히 많은 노이즈가 있는 샘플에서의 학습 정확도를 최대화하면 약간 최적의 분류기가 도출되는가?
• RQ3 레이블 노이즈가 존재함에도 불구하고, 노이즈가 있는 검증 세트가 초모수 튜닝과 조기 정지 등 모델 선택에 신뢰할 수 있는가?
• RQ4 Noisy Best Teacher and Student (NTS)와 같은 프레임워크가 노이즈가 있는 검증 세트를 활용하여 노이즈가 있는 레이블 학습에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 이론적 분석을 통해 대각선 우세한 클래스 조건부 노이즈 하에서는 노이즈가 있는 분포에서의 정확도를 최대화하면 청소된 분포에서의 정확도도 보장됨을 입증한다.
• 충분히 많은 노이즈가 있는 샘플에서 학습된 모델는 전역 최적의 분류기로 수렴하며, 샘플 수가 적을 경우 덜 의미 있는 분류기에서 노이즈 전이 행렬을 예측하는 방식으로 행동으로 전환됨을 보여준다.
• 노이즈가 있는 검증 세트는 진짜 노이즈가 있는 분포 정확도의 신뢰할 수 있는 추정자이며, 청소된 검증 데이터가 없을 경우 모델 선택에 이론적으로 타당한 근거를 제공한다.
• 노이즈가 있는 검증 세트에서 성능이 가장 높은 모델을 교사로 선택하는 NTS 프레임워크는 CIFAR-10/100에서 합성 노이즈와 Clothing1M에서 실제 세계의 노이즈에서 여러 기준 모델보다 일관된 성능 향상을 달성한다.
• 제거 분석 결과, NTS는 증강 전략(증강 없음, 표준, 강력한 증강 포함)에 관계없이 성능 향상을 유지함을 확인하여 강건성과 실용성을 입증한다.
• Clothing1M에서 NTS는 청소된 검증 기반의 기준 모델과 경쟁 가능한 성능을 기록하며, 실제 환경에서 노이즈가 있는 검증 세트가 충분하고 효과적임을 보여준다.