[논문 리뷰] Clusterability as an Alternative to Anchor Points When Learning with Noisy Labels

Zhaowei Zhu, Yiwen Song외 1명|arXiv (Cornell University)|2021. 02. 10.

Machine Learning and Data Classification참고 문헌 50인용 수 22

한 줄 요약

이 논문은 앵커 포인트에 의존하지 않고 특성의 클러스터러빌리티를 활용하여 레이블 노이즈 전이 행렬을 추정하는 새로운 방법을 제안한다. 여기서 각 샘플과 그 두 번째로 가까운 이웃들이 동일한 진짜 클래스에 속해 있음을 전제로 한다. 이웃들 간의 최대 제3차 공감(consensus)을 이용하여, 앵커 기반 방법에 비해 샘플 복잡도가 현저히 떨어지는 고유하고 정확한 행렬 추정을 달성한다. 이는 CIFAR-10/100과 Clothing1M에서 인위적 노이즈와 인간 수준의 노이즈를 바탕으로 검증되었다.

ABSTRACT

The label noise transition matrix, characterizing the probabilities of a training instance being wrongly annotated, is crucial to designing popular solutions to learning with noisy labels. Existing works heavily rely on finding "anchor points" or their approximates, defined as instances belonging to a particular class almost surely. Nonetheless, finding anchor points remains a non-trivial task, and the estimation accuracy is also often throttled by the number of available anchor points. In this paper, we propose an alternative option to the above task. Our main contribution is the discovery of an efficient estimation procedure based on a clusterability condition. We prove that with clusterable representations of features, using up to third-order consensuses of noisy labels among neighbor representations is sufficient to estimate a unique transition matrix. Compared with methods using anchor points, our approach uses substantially more instances and benefits from a much better sample complexity. We demonstrate the estimation accuracy and advantages of our estimates using both synthetic noisy labels (on CIFAR-10/100) and real human-level noisy labels (on Clothing1M and our self-collected human-annotated CIFAR-10). Our code and human-level noisy CIFAR-10 labels are available at https://github.com/UCSC-REAL/HOC.

연구 동기 및 목표

• 앵커 포인트 기반 방법이 샘플 복잡도가 낮고 가용한 앵커 포인트 수에 민감하여 레이블 노이즈 전이 행렬 추정에 한계를 가진다는 문제를 해결하기 위해.
• 딥 테이터 표현의 클러스터러빌리티를 활용하여 유연하고 확장 가능한 앵커 포인트의 대안을 개발하기 위해.
• 이웃 샘플들 간의 고차수 레이블 공감(최대 제3차)이 클러스터러빌리티 조건 하에서 진짜 전이 행렬을 고유하고 정확하게 추정할 수 있음을 보여주기 위해.
• 글로벌 및 로컬 노이즈 설정에 적용 가능한 실용적이고 오픈소스 도구를 제공하여 빠르고 일반화 가능한 전이 행렬 추정을 가능하게 하기 위해.
• 미래의 실세계 레이블 노이즈 연구를 지원하기 위해 인간이 애너테이션한 노이즈가 포함된 CIFAR-10의 버전을 공개하기 위해.

제안 방법

• 이 방법은 클러스터러빌리티 조건에 기반한다: 각 샘플과 그 특성 공간 내 두 번째로 가까운 이웃들이 동일한 진짜 클래스에 속해 있다.
• 각 샘플과 그 2-NN 이웃들 간의 첫 번째, 두 번째, 세 번째 공감을 분석하여 전이 행렬을 추정한다.
• 레이블 공감 방정식을 하다드 곱과 행렬 곱을 포함하는 행렬 방정식으로 변환하여 전이 행렬에 대한 제약 조건을 유도한다.
• 비특이성 및 정보성 가정 하에서 제3차 공감을 사용하는 것이 진짜 전이 행렬을 고유하게 식별하는 데 충분함을 증명한다.
• 표준 학습 파이프라인(예: 포워드 손실 보정)과 함께 사용할 수 있는 경량이고 플러그인 방식의 추정기로 구현된다.
• 글로벌 및 로컬 전이 행렬 추정을 모두 지원하여 인스턴스 의존적 노이즈에 적응할 수 있다.

실험 결과

연구 질문

• RQ1 앵커 포인트에 의존하지 않고도 레이블 노이즈 전이 행렬을 정확하게 추정할 수 있는가?
• RQ2 특성의 클러스터러빌리티가 고유하고 샘플 효율적인 전이 행렬 추정을 가능하게 하는가?
• RQ3 이웃들 간의 고차수 레이블 공감(최대 제3차)이 진짜 전이 행렬을 고유하게 식별할 수 있는가?
• RQ4 제안된 방법이 인위적 및 실세계 노이즈 레이블에서 앵커 기반 방법에 비해 추정 정확도와 일반화 능력에서 어떻게 비교되는가?
• RQ5 이 방법은 로컬, 인스턴스 의존적 노이즈 설정으로도 민감하게 확장 가능한가?

주요 결과

• 제안된 HOC 추정기는 인간 애너테이션 기반 레이블 노이즈가 포함된 CIFAR-10에서 전역 전이 행렬 추정 오차가 0.097을 기록하여 기준 방법들을 초월한다.
• 인간 수준의 노이즈가 포함된 CIFAR-10에서 로컬 전이 행렬 추정의 평균 오차는 0.110 ± 0.027로, 강건성과 확장성을 입증한다.
• CIFAR-10에서 20%의 인스턴스 의존적 노이즈가 존재할 경우, 2-NN 쌍의 87% 이상이 타당한(즉, 동일한 진짜 클래스에 속함) 것으로 확인되어 클러스터러빌리티 가정을 지지한다.
• 데이터셋 크기를 50,000에서 5,000으로 줄여도 2-NN 쌍의 타당성이 높게 유지되어 안정성과 확장성을 입증한다.
• CIFAR-100에서 40%의 노이즈가 존재할 경우에도 HOC 로컬 추정기는 높은 차원의 전이 행렬(10,000개의 파라미터)에도 불구하고 다른 방법들을 능가한다.
• 이론적 증명을 통해 제3차 공감이 표준 가정 하에서 진짜 전이 행렬을 고유하게 식별하는 데 충분함을 보였다.