[논문 리뷰] A Second-Order Approach to Learning with Instance-Dependent Label Noise
이 논문은 인스턴스에 따라 달라지는 노이즈 비율과 베이즈 최적 레이블 간의 추정된 공분산 항목을 활용하여 인스턴스에 따라 달라지는 레이블 노이즈를 클래스에 따라 달라지는 노이즈로 변환함으로써 기존의 강건한 방법들을 적용할 수 있도록 하는 이차적 접근법인 공분산 보조 학습(Covariance-Assisted Learning, CAL)을 제안한다. CAL은 합성 노이즈가 있는 CIFAR10 및 CIFAR100, 실세계 인간 노이즈가 있는 Clothing1M에서 최신 기술 수준의 성능을 달성하며, 이전 방법들보다 최대 1.5% 높은 정확도를 기록한다.
The presence of label noise often misleads the training of deep neural networks. Departing from the recent literature which largely assumes the label noise rate is only determined by the true label class, the errors in human-annotated labels are more likely to be dependent on the difficulty levels of tasks, resulting in settings with instance-dependent label noise. We first provide evidences that the heterogeneous instance-dependent label noise is effectively down-weighting the examples with higher noise rates in a non-uniform way and thus causes imbalances, rendering the strategy of directly applying methods for class-dependent label noise questionable. Built on a recent work peer loss [24], we then propose and study the potentials of a second-order approach that leverages the estimation of several covariance terms defined between the instance-dependent noise rates and the Bayes optimal label. We show that this set of second-order statistics successfully captures the induced imbalances. We further proceed to show that with the help of the estimated second-order statistics, we identify a new loss function whose expected risk of a classifier under instance-dependent label noise is equivalent to a new problem with only class-dependent label noise. This fact allows us to apply existing solutions to handle this better-studied setting. We provide an efficient procedure to estimate these second-order statistics without accessing either ground truth labels or prior knowledge of the noise rates. Experiments on CIFAR10 and CIFAR100 with synthetic instance-dependent label noise and Clothing1M with real-world human label noise verify our approach. Our implementation is available at https://github.com/UCSC-REAL/CAL.
연구 동기 및 목표
- 딥 러닝에서 예측 어려움에 따라 잘못 레이블링되는 비율이 달라지는 인스턴스에 따라 달라지는 레이블 노이즈 문제를 다루기 위해, 기존의 클래스에 따라 달라지는 노이즈 보정 방법의 성능 저하를 해결하고자 한다.
- 인스턴스에 따라 달라지는 노이즈의 불균형성을 효과적으로 모델링하고 완화하기 위해, 특히 노이즈 비율과 베이즈 최적 레이블 간의 공분산과 같은 이차 통계량이 유용하다는 것을 입증하고자 한다.
- 인스턴스에 따라 달라지는 노이즈 하에서의 기대 손실을 레이블의 클래스에 따라 달라지는 노이즈만을 포함하는 등가 문제로 변환하는 방법을 개발하고자 한다. 이를 통해 잘 알려진 강건한 학습 기법의 적용을 가능하게 하고자 한다.
- 정답 레이블이나 사전 노이즈 비율 지식이 없이도 이차 통계량을 추정할 수 있는 실용적이고 효율적인 절차를 제공하고자 한다.
- 합성 노이즈(CIFAR10/100)와 실세계 인간에 의한 레이블링 데이터(Clothing1M)를 대상으로 실험적으로 방법을 검증하여 일관된 성능 향상을 보여주고자 한다.
제안 방법
- 이 방법은 피어 손실 [24] 기반의 새로운 손실 함수를 도입하며, 인스턴스에 따라 달라지는 레이블 노이즈 하에서의 기대 손실이 오직 클래스에 따라 달라지는 노이즈만을 포함하는 변환된 손실과 동일하다는 것을 보여준다.
- 이 변환은 인스턴스에 따라 달라지는 노이즈 비율과 베이즈 최적 레이블 간의 핵심 공분산 항목을 추정하는 데 의존하며, 이는 데이터에 유도된 불균형성을 캡처한다.
- 이러한 이차 통계량은 사전에 훈련된 모델의 신뢰할 수 있는 예측을 식별하는 샘플 선택 기법을 사용하여 추정되며, 정답 레이블에 의존하지 않는다.
- 이 방법은 이중 단계 훈련 프로세스를 사용한다: 첫 번째 단계에서는 표준 크로스 엔트로피로 모델을 훈련하고, 두 번째 단계에서는 추정된 공분산 항목을 사용하여 CAL 손실로 모델을 재훈련한다.
- 이 방법은 공분산 추정치가 불완전할 경우에도 강건하게 작동하도록 설계되었으며, 이론적으로 최악의 경우 성능 보장을 제공한다.
- 최종 손실 함수는 베이즈 최적 분포 하에서의 기대 손실의 애핀 변환 형태이며, 이는 청소년 레이블이 가용할 경우와 동일한 최소화자를 보장한다.
실험 결과
연구 질문
- RQ1노이즈 비율과 베이즈 최적 레이블 간의 공분산과 같은 이차 통계량은 인스턴스에 따라 달라지는 레이블 노이즈가 유도하는 불균형성을 효과적으로 모델링할 수 있는가?
- RQ2이차적 접근법을 통해 인스턴스에 따라 달라지는 레이블 노이즈 하에서의 학습 문제를 오직 클래스에 따라 달라지는 노이즈만 포함하는 등가 문제로 변환할 수 있는가? 이를 통해 기존의 강건한 방법들을 적용할 수 있는가?
- RQ3정답 레이블이나 사전 노이즈 비율 지식이 없이도 필요한 이차 통계량을 추정할 수 있는가?
- RQ4제안된 CAL 방법은 합성 노이즈 및 실세계 노이즈 레이블 설정 모두에서 기존의 일차적 방법들을 초월하는가?
- RQ5공분산 추정치가 불완전할 경우 이 방법의 강건성은 어느 정도인가?
주요 결과
- 고노이즈 비율(η=0.6)을 가진 CIFAR10에서 CAL은 81.54%의 테스트 정확도를 기록하며, 피어 항목을 통합한 CORES 2(85.55% 대 84.41%)보다 비현저한 1.14% 향상된 성능을 보였다.
- η=0.6일 때 CIFAR100에서도 CAL은 81.54%의 정확도를 기록하며, 표준 CE 손실(64.65%) 및 기타 기준 모델들을 크게 앞서 갔다.
- 실세계 Clothing1M 데이터셋에서는 CAL이 74.17%의 테스트 정확도를 기록하며, 다음으로 좋은 방법인 CORES 2(73.24%)를 0.93% 뛰어넘었다.
- 절단 실험 결과, 피어 항목과 결합했을 때 공분산 항목 자체만으로도 정확도가 1.14% 향상되었으며(84.41%에서 85.55%로), 이는 독립적인 기여를 증명한다.
- 공분산 추정치가 불완전할 경우에도 이 방법은 강력한 성능을 유지하며, 이론적 최악의 경우 성능 보장이 이를 뒷받침한다.
- 이차 통계량은 모델 예측 기반의 샘플 선택 방법을 통해 효율적으로 추정되어, 정답 레이블이 없이도 실용적인 구현이 가능하다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.