[논문 리뷰] Multi-Class Classification from Noisy-Similarity-Labeled Data

Songhua Wu, Xiaobo Xia외 6명|arXiv (Cornell University)|2020. 02. 16.

Machine Learning and Data Classification참고 문헌 39인용 수 5

한 줄 요약

이 논문은 오직 노이즈가 섞인 유사도 레이블 데이터만을 사용하여 다중 분류를 위한 딥러닝 방법을 제안하며, 추정 가능한 전이 행렬을 통해 레이블 노이즈를 모델링하여 강건성을 향상시킨다. 이 방법은 벤치마크 데이터셋에서 최신 기술(SOTA) 수준의 정확도를 달성하며, 극도로 불균형한 유사도 데이터에서 이전 방법보다 최대 23% 높은 성능을 기록한다.

ABSTRACT

A similarity label indicates whether two instances belong to the same class while a class label shows the class of the instance. Without class labels, a multi-class classifier could be learned from similarity-labeled pairwise data by meta classification learning. However, since the similarity label is less informative than the class label, it is more likely to be noisy. Deep neural networks can easily remember noisy data, leading to overfitting in classification. In this paper, we propose a method for learning from only noisy-similarity-labeled data. Specifically, to model the noise, we employ a noise transition matrix to bridge the class-posterior probability between clean and noisy data. We further estimate the transition matrix from only noisy data and build a novel learning system to learn a classifier which can assign noise-free class labels for instances. Moreover, we theoretically justify how our proposed method generalizes for learning classifiers. Experimental results demonstrate the superiority of the proposed method over the state-of-the-art method on benchmark-simulated and real-world noisy-label datasets.

연구 동기 및 목표

• 오직 노이즈가 섞인 쌍별 유사도 레이블만 제공될 때 강건한 다중 분류기 학습 문제를 해결하기 위해.
• 청정 레이블과 노이즈 레이블 간의 잠재적 노이즈 전이 행렬을 도입하여 유사도 기반 지도 학습의 노이즈를 모델링하기 위해.
• 청정 레이블에 접근할 수 없이 오직 노이즈가 섞인 유사도 레이블 데이터로부터 전이 행렬을 직접 추정하기 위해.
• 노이즈가 섞인 유사도 지도 학습에도 불구하고 잘 일반화되는 딥러닝 프레임워크를 개발하고, 이에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 전이 행렬 T를 사용하여 레이블 노이즈를 모델링하며, 여기서 T_ij = P(Ŷ=j|Y=i,X)는 청정 레이블 i가 노이즈 레이블 j로 전환될 확률을 나타낸다.
• 입력 X, 청정 레이블 Y, 노이즈 레이블 Ŷ, 노이즈가 섞인 유사도 레이블 S 간의 관계를 연결하는 그래픽 모델 프레임워크를 제안하여 노이즈 모델링을 가능하게 한다.
• 학습 데이터에 앵커 포인트가 존재한다는 가정 하에 오직 노이즈가 섞인 유사도 레이블 데이터로부터 전이 행렬 T를 추정한다.
• 딥 네ural 네트워크에 미분 가능한 노이즈 전이 행렬 레이어를 통합하여 노이즈가 섞인 유사도 지도 학습을 통해 엔드 투 엔드 학습을 가능하게 한다.
• 이중 단계 학습 프로세스를 적용한다: 먼저 f(X) = P(Ŷ|X)를 통해 노이즈 예측자 학습, 그 다음 예측된 클래스 분포를 사용해 T 추정.
• 추정된 T를 사용해 분류기 예측을 보정하고, 레이블 노이즈를 고려한 새로운 손실 함수를 통해 노이즈에 강건한 모델을 학습한다.

실험 결과

연구 질문

• RQ1 청정 클래스 레이블에 접근할 수 없을 때 오직 노이즈가 섞인 유사도 레이블 데이터만을 사용하여 다중 분류기를 효과적으로 학습시킬 수 있는가?
• RQ2 청정 레이블에 접근할 수 없을 때 유사도 기반 지도 학습의 레이블 노이즈는 어떻게 모델링하고 추정할 수 있는가?
• RQ3 오직 노이즈가 섞인 유사도 레이블 데이터로부터 노이즈 전이 행렬을 정확하게 추정할 수 있으며, 이는 분류기의 일반화 성능을 향상시키는가?
• RQ4 다양한 수준의 레이블 노이즈와 데이터 불균형 조건에서 제안된 방법은 최신 기술(SOTA) 방법보다 어떻게 성능을 발휘하는가?
• RQ5 노이즈가 섞인 유사도 지도 학습 조건 하에서 제안된 분류기의 일반화 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• Clothing1M 데이터셋에서 제안된 MNS(Ŷ) 방법은 67.50%의 정확도를 기록하여 SOTA인 MCL 방법보다 1.3个百分点 높았다.
• Food-101 데이터셋에서 MNS(Ŷ)는 71.18%의 정확도를 기록하여 MCL(48.08%)보다 23.1个百分点 높은 성능을 보였다.
• 추정된 전이 행렬은 매우 정확했으며, MNIST에서는 오차 0.0668, CIFAR-10에서는 0.1144, CIFAR-100에서는 0.1055를 기록하여 효과적인 노이즈 모델링을 확인했다.
• 매우 불균형한 유사도 데이터에서도 잘 일반화되었으며, k개 클래스에 대해 약 1/k의 쌍만 S=1을 가지는 조건에서도 Food-101 결과를 통해 이를 입증했다.
• 실세계 노이즈가 섞인 데이터셋에서 뛰어난 성능을 기록하여 레이블 노이즈와 데이터 불균형에 모두 강건함을 입증했다.
• 이론적 분석을 통해 방법이 일반화 오차 경계를 제공함을 확인하여 약한 지도 학습 환경에서의 신뢰성을 뒷받침한다.