[논문 리뷰] Error-Bounded Correction of Noisy Labels

Songzhu Zheng, Pengxiang Wu외 4명|arXiv (Cornell University)|2020. 11. 19.

Machine Learning and Data Classification인용 수 40

한 줄 요약

보충 자료는 합성 Mixture-of-Gaussians 데이터를 사용하여 Tsybakov 조건하에서 노이즈 레이블 보정의 오차 경계들을 검증하고, 상수 C와 lambda를 추정하며, LRT-Correction 성능을 시연합니다.

ABSTRACT

To collect large scale annotated data, it is inevitable to introduce label noise, i.e., incorrect class labels. To be robust against label noise, many successful methods rely on the noisy classifiers (i.e., models trained on the noisy training data) to determine whether a label is trustworthy. However, it remains unknown why this heuristic works well in practice. In this paper, we provide the first theoretical explanation for these methods. We prove that the prediction of a noisy classifier can indeed be a good indicator of whether the label of a training data is clean. Based on the theoretical result, we propose a novel algorithm that corrects the labels based on the noisy classifier prediction. The corrected labels are consistent with the true Bayesian optimal classifier with high probability. We incorporate our label correction algorithm into the training of deep neural networks and train models that achieve superior testing performance on multiple public datasets.

연구 동기 및 목표

• 다중 클래스 Tsybakov 조건 하에서 노이즈 레이블 보정에 대한 오차 경계 프레임워크를 동기부여하고 검증합니다.
• eta, tau, 및 노이즈-eta가 정확히 알려진 합성 실험을 통해 경계 및 보정 성능을 검증합니다.
• Tsybakov 상수 C 및 lambda를 추정하고 오차 경계 및 보정 경계의 타이트함을 시연합니다.
• 제어된 노이즈 패턴에서 LRT-Correction 알고리즘이 깨끗한 레이블을 가까이 회복하는 경험적 검증을 보입니다.

제안 방법

• 동등한 컴포넌트 확률과 알려진 베이즈 라벨을 가진 10차원 혼합 가우시안 합성 데이터셋을 구성합니다.
• 사전에 정의된 뒤집힘 확률 tau01 및 tau10을 사용하여 실제 eta(x)와 노이즈 라벨 분포를 계산합니다.
• t ∈ [0, 0.9]에 대해 log p_t를 log t에 대해 회귀시켜 Tsybakov 상수 C와 lambda를 추정합니다.
• 완벽한 노이즈 분류기 f = tilde{eta}를 사용하여 Theorem 1 및 Corollary 1의 상한을 평가합니다.
• 합성 데이터에 대해 LRT-Correction 알고리즘을 적용하고 보정된 레이블을 깨끗한 레이블과 비교하여 Corollary 1을 검증합니다.
• 대칭 및 비대칭 노이즈가 보정 성능과 경계 타이트함에 미치는 영향을 논의합니다.

실험 결과

연구 질문

• RQ1 Tsybakov 조건 상수 C와 lambda를 합성 데이터에서 정확히 추정하여 노이즈-레이블 보정의 오차를 경계할 수 있는가?
• RQ2 제어된 대칭 및 비대칭 노이즈 하에서 LRT-Correction 알고리즘이 보정된 레이블을 깨끗한 레이블에 가깝게 일치시키는가?
• RQ3 eta와 f가 가정된 조건을 만족할 때 제시된 오차 및 보정 경계의 타이트함은 어느 정도인가?
• RQ4 완벽한 노이즈 분류기(f = tilde{eta})를 사용할 때 관찰된 경계와 보정 성공률에 어떤 영향이 있는가?
• RQ5 노이즈 구조의 변화(대칭 vs 비대칭)가 올바른 보정 확률과 경계 동작에 어떤 영향을 미치는가?

주요 결과

• 추정된 Tsybakov 상수는 C ≈ 0.58 및 lambda ≈ 1.27로 높은 신뢰도로 추정되며(R^2 ≈ 0.904, p < 1e-4).
• ε에 따른 오차 확률의 관찰 경계는 합성 설정에서 C[ε]^lambda 형태와 일치합니다.
• f = tilde{eta}가 주어질 때 LRT 보정 알고리즘은 깨끗한 레이블에 매우 근접하게 보정된 레이블을 생성하며, 노이즈 패턴의 비대칭성에 의해 성능이 제한됩니다.
• Corollary 1은 합성 데이터 하에서 경험적 평가와 일치하는 폐쇄형 보정 오차 경계를 제공합니다.
• 대칭 및 비대칭 노이즈 시나리오를 탐구하여, 경계가 유효하게 유지되고 제어된 조건에서 보정 성능이 경계 예측을 따라가는 것을 보였습니다.