[논문 리뷰] Robust and On-the-fly Dataset Denoising for Image Classification

Jiaming Song, Lunjia Hu외 3명|arXiv (Cornell University)|2020. 03. 24.

Machine Learning and Data Classification참고 문헌 45인용 수 5

한 줄 요약

이 논문은 큰 학습률을 사용하는 확률적 경사 하강법(SGD)의 암묵적 정규화를 활용하여, 이미지 분류 데이터셋에서 잘못 레이블링된 예제를 식별하고 제거하는 강력하고 효율적인 방법인 On-the-fly Data Denoising(ODD)을 제안한다. ODD는 네트워크 파라미터만을 사용하여 균일한 랜덤 레이블의 반대 조건 손실 분포를 모델링하고, 이 분포의 고분위수(예: 95번째 백분위수)를 초과하는 손실을 가진 예제를 제거함으로써, 웹비전(WebVision)과 Clothing1M와 같은 노이즈가 있는 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 거의 영향을 주지 않는 계산 오버헤드를 갖는다.

ABSTRACT

Memorization in over-parameterized neural networks could severely hurt generalization in the presence of mislabeled examples. However, mislabeled examples are hard to avoid in extremely large datasets collected with weak supervision. We address this problem by reasoning counterfactually about the loss distribution of examples with uniform random labels had they were trained with the real examples, and use this information to remove noisy examples from the training set. First, we observe that examples with uniform random labels have higher losses when trained with stochastic gradient descent under large learning rates. Then, we propose to model the loss distribution of the counterfactual examples using only the network parameters, which is able to model such examples with remarkable success. Finally, we propose to remove examples whose loss exceeds a certain quantile of the modeled loss distribution. This leads to On-the-fly Data Denoising (ODD), a simple yet effective algorithm that is robust to mislabeled examples, while introducing almost zero computational overhead compared to standard training. ODD is able to achieve state-of-the-art results on a wide range of datasets including real-world ones such as WebVision and Clothing1M.

연구 동기 및 목표

• 대규모 및 약한 감독을 받는 데이터셋에서 잘못 레이블링된 예제로 인한 모델 일반화 능력 저하 문제를 해결하기 위해.
• 레이블 노이즈 분포나 신뢰할 수 있는 예제에 대한 사전 지식에 의존하지 않는 정제 방법을 개발하기 위해.
• 학습 중에 최소한의 계산 비용으로 효과적이고 실시간으로 노이즈가 있는 예제를 제거할 수 있도록 하기 위해.
• 아키텍처나 하이퍼파라미터 수정 없이도 실제 노이즈가 있는 데이터셋과 청소된 벤치마크에서 성능을 향상시키기 위해.

제안 방법

• 초기 학습 동안 큰 학습률 스케줄을 사용하여 청소된 예제와 균일한 노이즈가 있는 예제 간의 손실 갭을 명확히 만든다.
• 실제로 노이즈 레이블로 학습하지 않고도 훈련된 네트워크 파라미터만을 사용하여 균일한 랜덤 레이블의 반대 조건 손실 분포를 모델링한다.
• 이 모델링된 손실 분포의 고분위수(예: 95번째 백분위수)에서 임계값을 유도하여 잠재적으로 잘못 레이블링된 예제를 식별한다.
• 임계값을 초과하는 손실을 가진 예제는 온더플라이로 훈련 세트에서 제거되고, 정제된 세트에서 학습이 계속된다.
• 원래 레이블 분포에 대해 무관하며, 노이즈 수준이나 혼동 행렬에 대한 사전 지식 없이도 작동한다.
• ODD는 피니튜닝 동안 적용되어 표준 학습 파이프라인에 쉽게 통합되며, 거의 영향을 주지 않는 오버헤드를 갖는다.

실험 결과

연구 질문

• RQ1 큰 학습률을 사용하는 SGD의 암묵적 정규화를 활용해 잘못 레이블링된 예제와 청소된 예제를 구분할 수 있는가?
• RQ2 네트워크 파라미터만을 사용하여 균일한 랜덤 레이블의 반대 조건 손실 분포를 모델링할 수 있는가?
• RQ3 이 반대 조건 손실 분포의 분위수를 초과하는 손실을 가진 예제를 제거하면 노이즈가 있는 데이터셋에서 일반화 성능이 향상되는가?
• RQ4 학습률 스케줄과 정제 비율과 같은 하이퍼파라미터의 변동에 대해 ODD는 얼마나 강건한가?
• RQ5 외부 감독 없이도 ODD는 CIFAR-100과 같은 '청결한' 데이터셋에서 잘못 레이블링된 예제를 탐지할 수 있는가?

주요 결과

• ODD는 노이즈 전이 행렬이나 보조 모델이 필요한 기존 방법들을 능가하는 최신 기술 수준의 정확도를 실생활 노이즈가 있는 데이터셋(예: WebVision, Clothing1M)에서 달성한다.
• WebVision 데이터셋에서 ODD는 78.9%의 top-1 정확도를 기록하여 GCE 및 공동 최적화(Joint Optimization)와 같은 이전 방법들을 능가한다.
• Clothing1M에서 ODD는 88.7%의 top-1 정확도를 기록하며, LCCN 및 DMI와 같은 방법들을 능가하고, LC와 비교해도 유사하거나 뛰어난 성능을 보인다. LC는 청소된 레이블에 의존하지만 ODD는 그렇지 않다.
• CIFAR-10과 ImageNet과 같은 청결한 데이터셋에서도 ODD는 표준 ERM 학습과 비교해 경쟁 가능한 성능을 유지한다.
• 절단 실험(ablation study) 결과, ODD는 정제 비율(p)과 학습 에포크 수(E)의 변화에 대해 강건하며, p=10과 E=100에서 최적의 성과-비용 균형을 이룬다.
• 정성적 분석을 통해 ODD는 지표 노이즈 레이블이 전혀 없는 CIFAR-100 데이터셋에서도 잘못 레이블링된 예제를 성공적으로 식별함을 확인했다.