[논문 리뷰] Dual T: Reducing Estimation Error for Transition Matrix in Label-noise Learning

Yu Yao, Tongliang Liu외 5명|arXiv (Cornell University)|2020. 06. 14.

Machine Learning and Data Classification참고 문헌 49인용 수 105

한 줄 요약

본 논문은 중간 클래스를 통해 전이 행렬을 두 개의 더 쉽게 추정 가능한 행렬로 분해하는 이중- T 추정기를 도입하여 추정 오차를 줄이고 라벨 노이즈 하에서 분류를 개선한다.

ABSTRACT

The transition matrix, denoting the transition relationship from clean labels to noisy labels, is essential to build statistically consistent classifiers in label-noise learning. Existing methods for estimating the transition matrix rely heavily on estimating the noisy class posterior. However, the estimation error for noisy class posterior could be large due to the randomness of label noise, which would lead the transition matrix to be poorly estimated. Therefore, in this paper, we aim to solve this problem by exploiting the divide-and-conquer paradigm. Specifically, we introduce an intermediate class to avoid directly estimating the noisy class posterior. By this intermediate class, the original transition matrix can then be factorized into the product of two easy-to-estimate transition matrices. We term the proposed method the dual-T estimator. Both theoretical analyses and empirical results illustrate the effectiveness of the dual-T estimator for estimating transition matrices, leading to better classification performances.

연구 동기 및 목표

• 라벨 노이즈 학습에서 전이 행렬의 추정 오차를 줄이는 동기를 부여한다.
• 전이 행렬을 인수분해하기 위한 중간 클래스를 가진 분할-정복 프레임워크를 도입한다.
• 새로운 두 전이 행렬에 대한 실용적 추정 방법을 제시하고 이론적 이점을 증명한다.
• 데이터셋 전반에 걸쳐 전이 행렬 추정 및 다운스트림 분류에서 실험적 이득을 보여준다.

제안 방법

• 원래의 전이 행렬 T를 T = T^{\u001a3spadesuit} T^{\u001a3clubsuit}로 표현하고 중간 클래스로 Y'를 사용한다( Eq. 2 ).
• T^{\u001a3clubsuit}_{il} = P(Y'=l|Y=i)로 정의하고, T에 대해 사용하는 동일한 T 추정 방법을 사용하여 이를 추정하되, 앵커 포인트(anchor points) 또는 추정된 노이즈 포스터리어를 활용한다.
• T^{\u001a3spadesuit}_{lj}(Y=i) = P(\bar{Y}=j|Y'=l, Y=i)로 정의하고, 중간 라벨을 생성한 후 개수를 세어 추정한다( Eq. 4 ).
• P(Y'|x) = ˜romP(\bar{Y}|x)˜ 로 설정하여 중간 클래스를 노이즈 라벨과 연결한다.
• 노이즈 데이터와 앵커 포인트 추정을 통해 ˜orInt 및 ˜orNoisy를 계산하는 알고리즘(Algorithm 1)을 제공한다.
• 새로운 두 행렬이 T보다 추정하기 쉽다고 주장하며, 앵커 포인트 하에서 T^{\u001a3clubsuit}의 추정 오차가 거의 제로이고, 노이즈 라벨 예측을 사용하여 T^{\u001a3spadesuit}의 오차를 줄인다고 설명한다.

실험 결과

연구 질문

• RQ1 라벨 노이즈 학습에서 전이 행렬의 식별 가능성과 추정 정확도를 분할-정복 전략이 향상시킬 수 있는가?
• RQ2 중간 클래스 Y'를 도입하고 T를 T^{\u001a3spadesuit} 및 T^{\u001a3clubsuit}로 인수분해하는 것이 T를 직접 추정하는 것에 비해 추정 오차를 줄이는가?
• RQ3 이중- T 추정기에 대해 주장된 추정 오차 감소를 뒷받침하는 이론적 보장은 무엇인가?
• RQ4 합성 및 실제 노이즈 라벨 데이터셋에서 이중- T 추정기가 다운스트림 분류자 성능에 어떤 영향을 미치는가?

주요 결과

• 이중- T 추정기는 표준 T 추정기에 비해 전이 행렬의 추정 오차를 감소시킨다.
• 앵커 포인트 하에서 T^{\u001a3clubsuit}의 추정 오차가 본질적으로 제로에 가까워 추정이 더 쉽다.
• T^{\u001a3spadesuit}의 추정 오차는 노이즈 라벨을 예측하는 데 의존하는데, 이는 노이즈 포스터리어를 추정하는 것보다 쉽기 때문에 전체 오차가 더 낮다.
• MNIST, Fashion-MNIST, CIFAR10, CIFAR100, Clothing1M에서의 실증 결과는 이중- T 추정기가 대다수의 대규모 샘플 설정에서 T 추정기보다 우수함을 보여주며 여러 기준선에서 분류 정확도를 향상시킨다.
• Theorem 1의 이론적 분석은 합리적 가정 하에서 이중- T 추정기가 더 작은 추정 오차를 갖는다는 것을 확인한다.