[논문 리뷰] Robust Inference via Generative Classifiers for Handling Noisy Labels

Kimin Lee, Sukmin Yun외 4명|arXiv (Cornell University)|2019. 01. 31.

Machine Learning and Data Classification인용 수 61

한 줄 요약

RoG는 최소 공분산 결정(MCD)을 사용하여 노이즈 라벨을 처리하고 원래 네트워크를 재학습하지 않고도 정확도를 개선하며 여러 층에서 앙상블이 가능하다.

ABSTRACT

Large-scale datasets may contain significant proportions of noisy (incorrect) class labels, and it is well-known that modern deep neural networks (DNNs) poorly generalize from such noisy training datasets. To mitigate the issue, we propose a novel inference method, termed Robust Generative classifier (RoG), applicable to any discriminative (e.g., softmax) neural classifier pre-trained on noisy datasets. In particular, we induce a generative classifier on top of hidden feature spaces of the pre-trained DNNs, for obtaining a more robust decision boundary. By estimating the parameters of generative classifier using the minimum covariance determinant estimator, we significantly improve the classification accuracy with neither re-training of the deep model nor changing its architectures. With the assumption of Gaussian distribution for features, we prove that RoG generalizes better than baselines under noisy labels. Finally, we propose the ensemble version of RoG to improve its performance by investigating the layer-wise characteristics of DNNs. Our extensive experimental results demonstrate the superiority of RoG given different learning models optimized by several training techniques to handle diverse scenarios of noisy labels.

연구 동기 및 목표

• 노이즈가 있는 라벨로 훈련될 때 강건한 일반화를 목표로 한다.
• 생성형 분류기를 이용해 사전 학습된 판별 모델을 후처리하도록 RoG를 제안한다.
• MCD 기반 추정이 노이즈 하에서 강건성과 일반화를 개선한다는 것을 보여준다.
• 여러 층에 걸쳐 RoG를 앙상블해 성능을 추가로 향상시킨다.
• 노이즈 라벨에 대한 다양한 학습 기법과의 호환성을 시연한다.

제안 방법

• 사전 학습된 penultimate 특징 f(x) 위에 클래스 조건적 가우시안(결합 공분산을 공유하는 LDA 가정)을 갖는 생성형 분류기를 도입한다.
• 단순 샘플 추정이 아닌 강건한 최소 공분산 결정(MCD)을 사용해 클래스 평균 mu_c와 공유 공분산 Sigma를 추정한다.
• P(f(x)|y=c)=N(f(x)|mu_c, Sigma) 및 P(y=c) 사전분포 β_c를 사용해 Bayes 방식으로 후방확률 P(y=c|f(x))를 계산한다.
• 근사 MCD 솔버(Algorithm 1)를 제공하고 클래스별 공분산을 전역 연결 Sigma로 결합한다.
• 저수준 특징과 층 간 RoG 후방확률을 가중치로 학습된 검증 NLL로 통합하는 앙상블 변형을 제안한다.
• RoG가 기존의 노이즈 라벨 학습 전략과 함께 사용할 수 있는 추론 방법으로서의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 사전 학습된 판별 모델 위에서 추론 단계에 강건한 생성형 분류기를 적용하면 재학습 없이도 노이즈 라벨 하에서 성능을 개선할 수 있는가?
• RQ2 MCD 기반 매개변수 추정이 노이즈 라벨 하에서 나쁜 샘플 추정에 비해 일반화와 강건성을 더 잘 보이는가?
• RQ3 레이어/특징 공간 전반에 걸친 RoG의 앙상블이 추가 성능 향상을 제공하는가?
• RQ4 RoG가 기존의 노이즈 라벨 학습 방법 및 반정제 데이터 설정과 어떻게 상호작용하는가?
• RQ5 RoG의 효과는 비전 및 NLP 태스크에서 다양한 노이즈 유형(균일, 반전, 의미적, 열려진 세트)에서도 일관적인가?

주요 결과

모델	추론 방법	앙상블	정제된 데이터	균일(20%)	균일(40%)	균일(60%)
DenseNet	Generative + MCD (ours)	✓	94.18	87.41	81.83	75.45
DenseNet	Generative + sample	-	93.97	87.40	81.27	69.81
Softmax	Softmax	-	94.11	81.01	72.34	55.42

• RoG는 MCD 추정으로 테스트 정확도를 소프트맥스(softmax) 대비 향상시키며, CIFAR-10/100, SVHN 및 NLP 과제에서 균일, 반전, 의미적 또는 열린 집합 노이즈 하에서도 우수한 성능을 보인다.
• 균일 노이즈가 있는 CIFAR-10에서 RoG의 MCD는 소프트맥스 및 비-MCD 생성형 분류기보다 더 높은 정확도를 달성하며, 층 간 앙상블로 그 이점이 크게 확산된다.
• 저수준 및 고수준 특징에 걸친 RoG의 앙상블은 추가적인 개선을 낳으며, 특히 저수준 RoG가 높은 노이즈 비율에서 더 강건하다.
• RoG는 선도적인 노이즈 라벨 학습 방법(Han et al. 2018b) 및 Co-teaching 등과 결합될 때 성능 향상을 일관되게 보여주며, 실험 설정에서 종종 최상의 결과를 달성한다.
• 오픈 셋 및 의미적으로 노이즈가 섞인 라벨에서도 RoG가 소프트맥스에 비해 유사하거나 우수한 성능을 제공하며, 많은 구성에서 현저한 이득이 관찰된다.