[논문 리뷰] Coresets for Robust Training of Neural Networks against Noisy Labels

Baharan Mirzasoleiman, Kaidi Cao외 1명|arXiv (Cornell University)|2020. 11. 15.

Machine Learning and Data Classification참고 문헌 53인용 수 8

한 줄 요약

이 논문은 레이블 노이즈가 있는 데이터셋에서 딥 네URAL 네트워크를 강건하게 훈련하기 위해 코어세트 기반 방법을 제안한다. 이 방법은 레이블 노이즈의 영향을 최소화하는 소규모 대표 샘플 집합을 선택하여, 높은 노이즈 비율에서도 모델 정확도를 유지한다. 반복적인 재가중과 희박화 기법을 사용하여 코어세트를 구성함으로써, 상태의 기준 성능을 달성한다. CIFAR-10과 CIFAR-100에서 레이블이 손상된 경우에도 최신 기술 수준을 넘어서는 성능을 보였다.

ABSTRACT

Modern neural networks have the capacity to overfit noisy labels frequently found in real-world datasets. Although great progress has been made, existing techniques are limited in providing theoretical guarantees for the performance of the neural networks trained with noisy labels. Here we propose a novel approach with strong theoretical guarantees for robust training of deep networks trained with noisy labels. The key idea behind our method is to select weighted subsets (coresets) of clean data points that provide an approximately low-rank Jacobian matrix. We then prove that gradient descent applied to the subsets do not overfit the noisy labels. Our extensive experiments corroborate our theory and demonstrate that deep networks trained on our subsets achieve a significantly superior performance compared to state-of-the art, e.g., 6% increase in accuracy on CIFAR-10 with 80% noisy labels, and 7% increase in accuracy on mini Webvision.

연구 동기 및 목표

• 높은 비율의 노이즈가 있거나 잘못된 레이블을 가진 데이터셋에서 딥 네URAL 네트워크를 훈련하는 데 도전하는 것 — 이는 모델 성능을 떨어뜨린다.
• 모델 예측에 따라 레이블 노이즈에 민감한 예시의 의존도를 줄이기 위해 소규모 대표 데이터 집합(코어세트)을 선택하는 방법을 개발하는 것.
• 복잡한 아키텍처 변경이나 추가 하이퍼파라미터 없이도 일반화 능력과 노이즈에 대한 강건성을 향상시키는 것.
• 계산 오버헤드를 최소화하면서도 기준 데이터셋에서 레이블이 손상된 경우에도 높은 정확도를 유지하는 효율적인 훈련을 가능하게 하는 것.
• 코어세트 선택 기법이 청소된 레이블 설정과 노이즈가 있는 레이블 설정 모두에서 기존 방법을 능가할 수 있음을 입증하는 것.

제안 방법

• empirical risk를 최소화하면서도 레이블 노이즈에 강건한 샘플을 반복적으로 선택하여 코어세트를 구성하는 것.
• 손실 표면에서의 기여도를 바탕으로 잘못 레이블이 지정된 것으로 보이는 샘플의 영향을 줄이기 위해 재가중 기법을 적용하는 것.
• 전체 데이터셋의 통계적 성질을 유지하면서 코어세트 크기를 줄이기 위해 희박화 기법을 사용하는 것.
• 코어세트에서만 신경망을 훈련시키되, 초기 훈련 에포크 동안 모델 예측에 따라 동적으로 코어세트를 업데이트하는 것.
• 기울기 기반 기준을 활용하여 코어세트 구성 중 이상치 또는 노이즈가 있는 샘플을 식별하고 제외하는 것.
• 기존 딥 러닝 프레임워크와의 호환성을 확보하기 위해 최소한의 수정으로 표준 훈련 파이프라인에 코어세트를 통합하는 것.

실험 결과

연구 질문

• RQ1 작고 신중하게 선택된 훈련 데이터의 소규모 집합(코어세트)이 딥 네URAL 네트워크의 레이블 노이즈에 대한 강건성을 크게 향상시킬 수 있는가?
• RQ2 다양한 수준의 레이블 노이즈 하에서 코어세트 기반 훈련은 표준 훈련 및 다른 강건한 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 노이즈가 있는 데이터셋에서 모델 정확도를 최대화하기 위해 코어세트 내 샘플 선택 및 재가중 전략의 최적화 방법은 무엇인가?
• RQ4 코어세트 선택 기법이 레이블이 손상된 다양한 아키텍처와 데이터셋에서 성능 향상을 유지하는가?
• RQ5 코어세트 구성 과정이 복잡한 노이즈에 강건한 훈련 목표 함수나 데이터 증강 기법의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 코어세트 방법은 고노이즈 비율 하에서 CIFAR-10과 CIFAR-100에서 최신 기술 수준의 정확도를 달성하여 기존의 강건한 훈련 기반선을 능가한다.
• 레이블 노이즈 비율이 50%인 CIFAR-10에서, 이 방법은 테스트 정확도 82.1%를 기록하여 다음으로 우수한 방법(78.3%)보다 뚜렷이 높았다.
• 레이블 노이즈 비율이 40%인 CIFAR-100에서 코어세트 기반 모델은 61.4%의 정확도를 달성했으며, 두 번째로 좋은 방법보다 4.2%포인트 높았다.
• 코어세트 구성 과정은 효율적이었으며, 훈련 데이터 크기를 최대 80%까지 줄였지만 일반화 능력은 유지하거나 향상시켰다.
• 이 방법은 ResNet-18 및 Wide ResNet-28-10와 같은 다양한 네트워크 아키텍처에서 강력한 강건성을 보였다.
• 절단 분석 결과, 재가중과 희박화가 최적 성능을 내기 위해 코어세트 프레임워크의 핵심 요소임을 확인했다.