[논문 리뷰] Beyond Class-Conditional Assumption: A Primary Attempt to Combat Instance-Dependent Label Noise

Pengfei Chen, Junjie Ye외 3명|arXiv (Cornell University)|2020. 12. 10.

Machine Learning and Data Classification참고 문헌 50인용 수 14

한 줄 요약

이 논문은 이론적으로 실제 세계의 레이블 노이즈가 클래스 조건부 노이즈(CCNS) 가정과는 다름을 보여주며, 연구 초점을 인스턴스 의존적 노이즈(IDNS)로 전환할 필요성을 제기한다. 이는 실수로 발생하는 레이블을 보정하기 위해 학습 반복 동안 모델 예측을 평균화하는 자기진화 평균 레이블 방법(SEAL)을 제안하며, 합성 및 실제 세계의 IDN 벤치마크에서 최신 기술 성능(SOTA)을 달성한다. 이는 Clothing1M에서 70.63%의 테스트 정확도로도 입증된다.

ABSTRACT

Supervised learning under label noise has seen numerous advances recently, while existing theoretical findings and empirical results broadly build up on the class-conditional noise (CCN) assumption that the noise is independent of input features given the true label. In this work, we present a theoretical hypothesis testing and prove that noise in real-world dataset is unlikely to be CCN, which confirms that label noise should depend on the instance and justifies the urgent need to go beyond the CCN assumption.The theoretical results motivate us to study the more general and practical-relevant instance-dependent noise (IDN). To stimulate the development of theory and methodology on IDN, we formalize an algorithm to generate controllable IDN and present both theoretical and empirical evidence to show that IDN is semantically meaningful and challenging. As a primary attempt to combat IDN, we present a tiny algorithm termed self-evolution average label (SEAL), which not only stands out under IDN with various noise fractions, but also improves the generalization on real-world noise benchmark Clothing1M. Our code is released. Notably, our theoretical analysis in Section 2 provides rigorous motivations for studying IDN, which is an important topic that deserves more research attention in future.

연구 동기 및 목표

• 실제 세계의 레이블 노이즈가 클래스 조건부일 가능성이 낮음을 이론적으로 입증하여, 인스턴스 의존적 노이즈(IDN)를 연구할 필요성을 정당화한다.
• 연구 및 벤치마크를 위해 제어 가능하고 의미 있는 인스턴스 의존적 레이블 노이즈를 생성하는 방법을 체계화한다.
• 딥 러닝에서 IDN을 특별히 대응하기 위해 설계된 새로운 방어 방법인 SEAL을 개발하고 평가한다.
• SEAL의 유효성을 합성 IDN 및 실제 세계의 노이즈 데이터셋인 Clothing1M와 같은 데이터셋에서 검증한다.

제안 방법

• Clothing1M 데이터셋을 대상으로 CCN 가정을 기각하기 위한 이론적 가설 검증을 수행하여, 레이블 노이즈가 입력 특징에 의존함을 보여준다.
• 입력 특징 기반으로 노이즈 확률을 모델링하여, 입력 특징에 따라 노이즈 확률이 달라지는 제어 가능한 알고리즘을 도입한다.
• 각 인스턴스에 대해 학습 에포크 동안 모델 예측을 평균화하여 소프트 레이블 보정을 수행하는 SEAL을 설계한다.
• 평균화된 소프트 레이블을 사용해 최종 분류기를 재학습시켜, 인스턴스별로 맞춤형 레이블 보정을 가능하게 한다.
• 모델 출력이 노이즈를 기억하기 전에 진동하는 자기진화 메커니즘을 도입하여 진짜 레이블 신호를 탐지할 수 있도록 한다.
• SEAL을 교차 엔트로피 또는 기타 손실 함수와 함께 적용하고, DMI와 같은 고급 방법과 통합하여 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 Clothing1M와 같은 실제 세계 데이터셋에서 클래스 조건부 노이즈 가정이 타당한가, 아니면 레이블 노이즈가 실제로 인스턴스 의존적인가?
• RQ2 벤치마크를 위해 제어 가능하고 의미 있는 방식으로 인스턴스 의존적 레이블 노이즈를 생성할 수 있는가?
• RQ3 특히 IDN에 대응하기 위해 설계된 방어 방법이 인스턴스 의존적 노이즈 조건에서 CCN 기반 방법보다 우월한가?
• RQ4 SEAL은 실제 세계의 노이즈 데이터셋인 Clothing1M에서 일반화 성능을 향상시킬 수 있는가?
• RQ5 SEAL을 DMI와 같은 다른 강건한 학습 방법과 조합하면 추가적인 성능 향상이 이루어지는가?

주요 결과

• Clothing1M에 대한 이론적 가설 검증에서 CCN 가정이 기각되었으며, 레이블 노이즈가 통계적으로 입력 특징에 의존함을 입증했다.
• MNIST에서 40%의 IDN을 적용했을 때 SEAL은 96.75%의 정확도를 기록하여 Co-teaching 및 GCE를 포함한 모든 베이스라인을 압도했다.
• CIFAR-10에서 40%의 IDN을 적용했을 때 SEAL은 82.98%의 정확도를 달성하여 다음으로 우수한 방법보다 4个百分点 이상 높았다.
• 실제 세계의 Clothing1M 벤치마크에서 SEAL은 70.63%의 테스트 정확도를 기록했으며, 표준 교차 엔트로피 대비 1.56%의 절대적 향상이 있었다.
• DMI와 조합했을 때 SEAL은 Clothing1M에서 73.40%의 정확도를 기록하여 고급 학습 방법과의 상호보완적 성능 향상을 입증했다.
• 다양한 노이즈 비율과 데이터셋에서 일관된 성능 향상을 보이며, 그 방법의 강건성과 일반화 능력을 확인했다.