[논문 리뷰] Provably End-to-end Label-Noise Learning without Anchor Points

Xuefeng Li, Tongliang Liu외 3명|arXiv (Cornell University)|2021. 02. 04.

Machine Learning and Data Classification참고 문헌 53인용 수 28

한 줄 요약

VolMinNet은 앵커 포인트 없이 전반적으로(end-to-end) 노이즈 전이 행렬을 학습하며, 전이 단순체의 부피 최소화 목표와 교차 엔트로피 손실을 함께 최적화해 충분히 흩어진 조건에서 증명 가능한 identifiability를 달성한다.

ABSTRACT

In label-noise learning, the transition matrix plays a key role in building statistically consistent classifiers. Existing consistent estimators for the transition matrix have been developed by exploiting anchor points. However, the anchor-point assumption is not always satisfied in real scenarios. In this paper, we propose an end-to-end framework for solving label-noise learning without anchor points, in which we simultaneously optimize two objectives: the cross entropy loss between the noisy label and the predicted probability by the neural network, and the volume of the simplex formed by the columns of the transition matrix. Our proposed framework can identify the transition matrix if the clean class-posterior probabilities are sufficiently scattered. This is by far the mildest assumption under which the transition matrix is provably identifiable and the learned classifier is statistically consistent. Experimental results on benchmark datasets demonstrate the effectiveness and robustness of the proposed method.

연구 동기 및 목표

• 앵커 포인트에 의존하지 않고 손상된 라벨에서의 강건한 학습을 동기화한다.
• 클래스 종속적이지만 인스턴스 독립적인 전이 행렬 T를 사용한 라벨 노이즈 학습을 형식화한다.
• 노이즈가 있는 라벨에 맞추면서 전이 부피를 최소화하기 위해 T와 분류기를 함께 학습하는 엔드-투-엔드 프레임워크를 개발한다.
• 완만하게 흩어진 조건하에서 학습된 전이 행렬과 분류기의 식별 가능성과 일관성을 입증한다.

제안 방법

• 도함수 가능한 대각 우위의 열 확률전이 행렬 ͂_hat를 갖는 VolMinNet을 소개한다.
• P(tilde{Y}|X)=T P(Y|X)를 모델링하고 h_theta(X)를 학습해 P(Y|X)를 추정한다.
• 라그랑지안 목적함수를 최적화한다: vol(T_hat) + beta * E[loss(T_hat h_theta(X), tilde{Y})], 교차 엔트로피 손실을 사용하여.
• 대각 성분이 1이고 비대각 성분은 시그모이드로 표현되는 행렬 A를 통해 T_hat를 매개화한 다음, 열을 정규화하여 열-확률적성(col-stochasticity)과 대각 우위를 보장한다.
• 볼륨 최소화에서 T_hat의 log-determinant를 단순체 부피의 매끄러운 대리로 사용한다.
• 전체 목적함수가 엔드-투-엔드로 학습 가능하도록 미분 가능 구성을 제공한다.

실험 결과

연구 질문

• RQ1 충분히 흩어진 clean-posterior 조건하에서 앵커 포인트 없이 전이 행렬 T를 일관되게 식별할 수 있는가?
• RQ2 VolMinNet 프레임워크가 소음 데이터로 학습될 때 실제 T와 깨끗한 사후 확률 P(Y|X)을 회복하는가?
• RQ3 제안된 방법이 합성 데이터(MNIST, CIFAR-10/100) 및 실제 데이터(Clothing1M)에서 기존 방법들과 비교해 소음 데이터에 대해 어떤 성능을 나타내는가?
• RQ4 식별성과 강건성 확보를 위한 볼륨 항의 역할은 무엇인가? 앵커 포인트 부재에 대한 강건성에 어떤 영향을 주는가?

주요 결과

• VolMinNet은 대칭 및 페어-플립 소음 하에서 MNIST, CIFAR-10, CIFAR-100에서 강력한 분류 성능을 달성한다.
• 본 방법은 전이 행렬을 견고하게 추정하고 여러 벤치마크에서 여러 기준선을 능가한다.
• 이론적 결과는 충분히 흩어진 조건에서 추정 T와 학습된 깨끗한 사후 확률의 일관성과 식별 가능성을 보이며, 앵커 포인트 가정은 특수한 경우로 간주된다.
• Clothing1M에 대한 실험은 초기화에 깨끗한 데이터에 의존하지 않으면서도 실제 노이즈 데이터에 대해 효과적임을 보여준다.
• 실험 결과 VolMinNet이 경쟁자 추정기보다 전이 행렬 추정 오차를 더 낮게 얻음이 확인된다.
• 엔드-투-엔드 프레임워크는 두 단계의 손실 보정과 의사 앵커 포인트의 필요성을 제거하여 노이즈에 대한 강건성을 향상시킨다.