[논문 리뷰] Confidence Scores Make Instance-dependent Label-noise Learning Possible

Antonin Berthon, Bo Han외 3명|arXiv (Cornell University)|2020. 01. 11.

Machine Learning and Data Classification참고 문헌 58인용 수 36

한 줄 요약

이 논문은 신뢰도 점수 기반의 인스턴스 의존적 노이즈(CSIDN)와 per-instance 신뢰도를 활용하여 클래스 전이 확률을 추정하는 인스턴스 수준의 forward correction(ILFC) 방법을 제시합니다. 이를 통해 인스턴스 의존 라벨 노이즈 하에서 강건한 학습이 가능하며 Synthetic 및 실데이터에서 베이스라인보다 우수한 성능을 보입니다.

ABSTRACT

In learning with noisy labels, for every instance, its label can randomly walk to other classes following a transition distribution which is named a noise model. Well-studied noise models are all instance-independent, namely, the transition depends only on the original label but not the instance itself, and thus they are less practical in the wild. Fortunately, methods based on instance-dependent noise have been studied, but most of them have to rely on strong assumptions on the noise models. To alleviate this issue, we introduce confidence-scored instance-dependent noise (CSIDN), where each instance-label pair is equipped with a confidence score. We find with the help of confidence scores, the transition distribution of each instance can be approximately estimated. Similarly to the powerful forward correction for instance-independent noise, we propose a novel instance-level forward correction for CSIDN. We demonstrate the utility and effectiveness of our method through multiple experiments under synthetic label noise and real-world unknown noise.

연구 동기 및 목표

• 노이즈가 있는 라벨의 학습을 현실적이고 인스턴스 의존적인 설정에서 동기화시키는 것을 목표로 한다. 라벨 악화가 클래스와 특징 모두에 의존한다.
• 각 인스턴스마다 신뢰도 점수로 노이즈 전이를 근사하고 IDN를 실현 가능하게 만든다.
• CSIDN 모델과 실용적인 알고리즘(ILFC)을 제안하여 인스턴스별 전이와 강건한 분류기를 학습한다.
• 합성 실험과 Clothing1M를 포함한 실세계 데이터셋을 통해 효과를 입증한다.

제안 방법

• 각 인스턴스에 대해 신뢰도 점수 r_x = P(Y= bar{y} | bar{Y}= bar{y}, X=x)로 정의한다.
• 라벨 노이즈 전이 행렬 T(x)는 인스턴스 의존적이지만 대각 항 T_{i,i}(x)은 r_x와 밀도 비 β_i(x)를 이용해 추정할 수 있도록 CSIDN을 형성한다.
• 비대각 항은 T_{i,j}(x) = α_{i,j} (1 - T_{i,i}(x))로 가정하며, α_{i,j}는 인스턴스 간에 상수로 두고 앵커 포인트(anchor points)를 통해 추정한다.
• 노이즈가 섞인 데이터와 분류기 출력을 사용하여 β_i(x)와 T_{i,i}(x)를 반복적으로 추정하는 절차를 개발한다.
• 인스턴스 수준의 forward-corrected 손실을 정의하고 ILFC 단계를 포함한 분류기 h를 학습한다(α와 T의 앵커 포인트 기반 추정 및 밀도 비 업데이트 포함).
• 효과적인 학습 알고리즘(Algorithm 1)을 제공하여 T를 추정하고 손실을 보정하며 현재 모델과 함께 Naive한 노이즈 분류기의 β를 업데이트하는 과정을 교대한다.

실험 결과

연구 질문

• RQ1 인스턴스별 신뢰도 점수가 인스턴스 의존 노이즈 전이의 실현 가능 한 추정을 가능하게 하는가?
• RQ2 신뢰도 점수와 앵커 포인트를 사용하여 per-instance 대각 전이 확률과 클래스 간 뒤바꿈 확률을 어떻게 추정하는가?
• RQ3 인스턴스 수준 forward correction(ILFC)이 합성 및 실데이터에서 인스턴스 의존 라벨 노이즈에 대한 강건성을 개선하는가?
• RQ4 신뢰도 점수가 노이즈 주석이 부분적으로만 사용 가능하거나 전혀 없는 경우에도(예: Clothing1M) 견고하고 유용한가?

주요 결과

• ILFC는Baseline이 실패하는 높은 수준의 인스턴스 의존 노이즈 하에서도 강건한 성능을 달성한다.
• 합성 데이터에서 ILFC는 forward correction, MAE, Lq-norm, Co-teaching보다 우수한 성능을 보이며 특히 노이즈 비율이 높을 때 두드러진다.
• 실세계 데이터셋(SVHN, CIFAR-10)에서 ILFC는 상당한 IDN 하에서 더 빠른 수렴과 더 높은 정확도를 보인다.
• Clothing1M에서 ILFC는 Forward, MAE, Lq-norm, Co-teaching을 능가하며 보고된 최고 정확도를 달성한다.
• 신뢰도 점수가 왜곡되어도 방법이 효과적으로 작동하여 불완전한 신뢰도 추정에 대한 견고성을 보여준다.