[논문 리뷰] Coresets for Robust Training of Deep Neural Networks against Noisy Labels.

Baharan Mirzasoleiman, Kaidi Cao외 1명|arXiv (Cornell University)|2020. 01. 01.

Machine Learning and Data Classification인용 수 48

한 줄 요약

이 논문은 깊이 있는 신경망의 노이즈가 있는 레이블에 대해 강건한 훈련을 위해 저랭크 자코비안 행렬을 근사하는 청소된 데이터의 가중치가 부여된 부분집합을 선택하는 코어셋 기반 방법을 제안한다. 이론적 분석은 이러한 코어셋에서의 경사하강법이 노이즈가 있는 레이블에 과적합되지 않음을 보여주며, CIFAR-10에서 80%의 노이즈 레이블 조건에서 기존 최고 수준의 방법보다 6% 높은 정확도를 달성하고, mini Webvision에서 7% 향상된 성능을 보인다.

ABSTRACT

Modern neural networks have the capacity to overfit noisy labels frequently found in real-world datasets. Although great progress has been made, existing techniques are limited in providing theoretical guarantees for the performance of the neural networks trained with noisy labels. Here we propose a novel approach with strong theoretical guarantees for robust training of deep networks trained with noisy labels. The key idea behind our method is to select weighted subsets (coresets) of clean data points that provide an approximately low-rank Jacobian matrix. We then prove that gradient descent applied to the subsets do not overfit the noisy labels. Our extensive experiments corroborate our theory and demonstrate that deep networks trained on our subsets achieve a significantly superior performance compared to state-of-the art, e.g., 6% increase in accuracy on CIFAR-10 with 80% noisy labels, and 7% increase in accuracy on mini Webvision.

연구 동기 및 목표

• 실세계 데이터셋에서 깊이 있는 신경망이 노이즈가 있는 레이블에 과적합되는 문제를 다루기 위해.
• 레이블 노이즈 하에서 강건한 훈련을 위한 강력한 이론적 보장을 제공하기 위해.
• 선택된 부분집합에서의 경사하강법이 노이즈가 있는 레이블에 과적합되지 않도록 보장하는 데이터 선택 방법을 개발하기 위해.
• 높은 레이블 노이즈 수준을 가진 벤치마크 데이터셋에서 일반화 성능을 향상시키기 위해.

제안 방법

• 이 방법은 저랭크 자코비안 행렬을 근사하는 청소된 데이터 포인트의 가중치가 부여된 코어셋을 구성한다.
• 자코비안 행렬의 구조를 활용하여 모델 최적화 역학을 유지하는 대표적인 데이터 부분집합을 식별한다.
• 이론적 분석을 통해 이러한 코어셋에서의 경사하강법이 노이즈가 있는 레이블에 과적합되지 않음을 증명한다.
• 자코비안의 저랭크 구조의 근사 오차를 최소화하는 방식으로 코어셋 선택을 수행한다.
• 선택된 부분집합에서 끝내기까지 끝내기까지의 방식으로 깊이 있는 네트워크를 훈련시켜 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 이론적으로 탄탄한 데이터 선택 방법이 깊이 있는 네트워크가 노이즈가 있는 레이블에 과적합되는 것을 방지할 수 있는가?
• RQ2 저랭크 자코비안 구조를 유지하는 코어셋을 선택하면 레이블 노이즈 하에서 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 이러한 코어셋에서 훈련된 모델의 성능은 노이즈가 있는 벤치마크에서 기존 최고 수준의 방법과 비교해 어떻게 되는가?
• RQ4 레이블 노이즈 설정 하에서 최적화 역학에 대한 이론적 보장을 도출할 수 있는가?

주요 결과

• 제안된 코어셋 방법은 기존 최고 수준의 방법보다 CIFAR-10에서 80%의 노이즈 레이블 조건에서 6% 높은 정확도를 달성한다.
• mini Webvision 데이터셋에서 이 방법은 기존 접근 방식보다 높은 레이블 노이즈 조건 하에서 정확도를 7% 향상시킨다.
• 이론적 분석은 선택된 코어셋에서의 경사하강법이 노이즈가 있는 레이블에 과적합되지 않음을 확인한다.
• 이 방법은 레이블 노이즈가 80%를 초과하는 경우에도 강력한 성능을 유지하여 강건성을 입증한다.