[논문 리뷰] Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels

Songhua Wu, Xiaobo Xia외 6명|arXiv (Cornell University)|2020. 06. 14.

Machine Learning and Data Classification인용 수 20

한 줄 요약

이 논문은 노이즈가 있는 클래스 레이블을 노이즈가 있는 유사도 레이블(두 샘플이 같은 클래스를 공유하는지 여부를 나타냄)로 변환하는 새로운 노이즈 감소 프레임워크인 Class2Simi를 제안한다. 이를 통해 효과적인 노이즈 비율을 낮춘다. 원래의 노이즈가 있는 포인트와이즈 레이블로 사전 훈련한 후, 이 쌍별 유사도 레이블로 딥 네트워크를 훈련시킴으로써, 특히 높은 노이즈 비율과 전이 행렬의 추정 오차가 존재할 경우에도 최신 기술 수준의 노이즈에 대한 강건성을 달성한다.

ABSTRACT

Learning with noisy labels has attracted a lot of attention in recent years, where the mainstream approaches are in pointwise manners. Meanwhile, pairwise manners have shown great potential in supervised metric learning and unsupervised contrastive learning. Thus, a natural question is raised: does learning in a pairwise manner mitigate label noise? To give an affirmative answer, in this paper, we propose a framework called Class2Simi: it transforms data points with noisy class labels to data pairs with noisy similarity labels, where a similarity label denotes whether a pair shares the class label or not. Through this transformation, the reduction of the noise rate is theoretically guaranteed, and hence it is in principle easier to handle noisy similarity labels. Amazingly, DNNs that predict the clean class labels can be trained from noisy data pairs if they are first pretrained from noisy data points. Class2Simi is computationally efficient because not only this transformation is on-the-fly in mini-batches, but also it just changes loss computation on top of model prediction into a pairwise manner. Its effectiveness is verified by extensive experiments.

연구 동기 및 목표

• 대규모 데이터셋에서 높은 레이블 노이즈 상황에서 딥 네트워크를 훈련하는 문제에 대응한다.
• 데이터 포인트 간의 관계를 활용하는 쌍별 학습이 기존의 포인트와이즈 방법에 비해 레이블 노이즈를 내재적으로 완화할 수 있는지 조사한다.
• 노이즈가 있는 클래스 레이블을 노이즈가 있는 유사도 레이블로 변환하여 효과적인 노이즈 비율을 낮추는 프레임워크를 개발한다.
• 노이즈가 있는 유사도 사후확률과 청소된 클래스 사후확률 간의 이론적이고 실용적인 연결 고리를 확립하여 강건한 모델 훈련을 가능하게 한다.
• 제안된 방법이 클래스 전이 행렬 추정 오차에 대해 얼마나 강건한지 확인한다. 이는 노이즈가 있는 레이블 학습에서 흔한 과제이다.

제안 방법

• 노이즈가 있는 클래스 레이블을 가진 각 훈련 샘플을 데이터 쌍으로 변환하며, 각 쌍은 두 샘플이 같은 클래스를 공유하는지 여부를 나타내는 노이즈가 있는 유사도 레이블을 할당한다.
• 전이 행렬 형식을 사용하여 이론적으로, 쌍별 유사도 레이블의 노이즈 비율이 클래스 레이블의 노이즈 비율보다 낮음을 증명한다 (정리 2). 이는 유사도 레이블이 개별 레이블 오류에 더 높은 내성을 가지기 때문이다.
• 표준 교차 엔트로피 손실을 사용하여 원래의 노이즈가 있는 포인트와이즈 데이터로 딥 네트워크를 사전 훈련함으로써, 쌍별 학습으로 전환하기 전에 의미론적 클래스 정보를 유지한다.
• 노이즈가 있는 유사도 레이블을 보정하기 위해 쌍별 손실 함수(예: Forward 또는 Reweight)를 사용하여 모델을 피니터닝한다. 이때 내적 근사법을 통해 청소된 클래스 사후확률을 활용한다.
• 클래스 전이 행렬에서 유도된 유사도 전이 행렬을 사용하여 쌍별 지도 학습에서의 노이즈를 모델링함으로써 이론적 강건성을 확보한다.
• 소형 배치 훈련 중 실시간으로 변환을 구현함으로써 계산 오버헤드를 최소화하면서 효율적인 쌍별 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 포인트와이즈 클래스 레이블을 쌍별 유사도 레이블로 변환하는 것이 훈련 데이터의 효과적 노이즈 비율을 낮출 수 있는가?
• RQ2 노이즈가 있는 유사도 레이블에서 학습하는 것이 노이즈가 있는 클래스 레이블에서 학습하는 것보다 딥 네트워크에서 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 클래스 전이 행렬 추정 오차에 대해 제안된 방법이 얼마나 강건한가? 이는 많은 노이즈가 있는 레이블 학습 접근법에서 핵심적인 과제이다.
• RQ4 노이즈가 있는 포인트와이즈 데이터로 사전 훈련한 후, 노이즈가 있는 쌍별 레이블에서 효과적인 피니터닝을 수행할 수 있는가?
• RQ5 대칭적 및 비대칭적 레이블 노이즈 설정에서 기존 최신 기술 수준의 포인트와이즈 방법에 비해 쌍별 학습 프레임워크가 더 우수한 성능을 낼 수 있는가?

주요 결과

• 그림 1에서 보듯이, 유사도 레이블이 개별 레이블 오류에 더 높은 내성을 가지기 때문에, 클래스 레이블의 노이즈 비율 0.5에서 유사도 레이블의 노이즈 비율 0.25로 효과적 노이즈 비율이 감소한다.
• 60%의 노이즈 비율을 가진 CIFAR-10 및 CIFAR-100에서, Class2Simi는 기준 포인트와이즈 방법 대비 각각 약 5점과 10점의 정확도 향상을 기록한다.
• F-Class2Simi는 Clothing1M*에서 75.41%의 정확도를 달성하여 Co-teaching(74.70%)와 S2E(72.30%)를 모두 초월하며, 실제 노이즈가 있는 데이터에서 강력한 성능을 보여준다.
• R-Class2Simi는 Clothing1M*에서 75.76%의 정확도를 기록하여 F-Class2Simi를 더 향상시키며, 재가중 기반 변형의 효과를 입증한다.
• 기본 전이 행렬에 대한 펌핑에 대해 메서드가 강건함을 입증한다: Forward의 정확도는 노이즈가 있을 경우 급격히 떨어지지만, F-Class2Simi에서는 미미한 변동만을 보이며 강건성을 입증한다.
• 청소된 데이터셋(MNIST, CIFAR10, CIFAR100, News20)에서는 유사도 손실이 표준 교차 엔트로피 손실 대비 유의미한 정확도 향상을 제공하지 않으며, 이는 노이즈가 있는 설정에서의 성능 향상이 손실 설계 때문이 아니라 노이즈 감소 때문임을 확인한다.