[논문 리뷰] Are Anchor Points Really Indispensable in Label-Noise Learning?

Xiaobo Xia, Tongliang Liu외 5명|arXiv (Cornell University)|2019. 06. 01.

Machine Learning and Data Classification참고 문헌 46인용 수 142

한 줄 요약

이 논문은 anchor points에 의존하지 않고 라벨 노이즈 전이 행렬을 학습하고 수정하는 T-Revision 방법을 제안하여 노이즈가 있는 라벨 하에서 분류기 일관성을 향상시킨다.

ABSTRACT

In label-noise learning, extit{noise transition matrix}, denoting the probabilities that clean labels flip into noisy labels, plays a central role in building extit{statistically consistent classifiers}. Existing theories have shown that the transition matrix can be learned by exploiting extit{anchor points} (i.e., data points that belong to a specific class almost surely). However, when there are no anchor points, the transition matrix will be poorly learned, and those current consistent classifiers will significantly degenerate. In this paper, without employing anchor points, we propose a extit{transition-revision} ($T$-Revision) method to effectively learn transition matrices, leading to better classifiers. Specifically, to learn a transition matrix, we first initialize it by exploiting data points that are similar to anchor points, having high extit{noisy class posterior probabilities}. Then, we modify the initialized matrix by adding a extit{slack variable}, which can be learned and validated together with the classifier by using noisy data. Empirical results on benchmark-simulated and real-world label-noise datasets demonstrate that without using exact anchor points, the proposed method is superior to the state-of-the-art label-noise learning methods.

연구 동기 및 목표

• 실제 데이터에서 라벨 노이즈 학습의 전이 행렬을 학습할 때 자주 이용 가능한 앵커 포인트가 없다는 한계를 동기 부여하고 해결한다.
• 이전 방법에 내재된 행렬 역수를 피하는 위험-일관성 추정량을 개발한다.
• 분류기와 함께 전이 행렬을 초기화하고 수정하는 2단계 학습 절차를 제공한다.
• 합성 및 실제 노이즈 데이터셋에서 분류 정확도의 향상을 입증한다.
• 제안된 학습 프레임워크에 대한 이론적 일반화 통찰을 제공한다.

제안 방법

• 전이 행렬의 역행렬을 필요로 하지 않고 클린 포스터리어와 노이즈 포스터리어를 일치시키는 위험-일관성 추정량을 도입한다.
• 추정된 높은 노이즈 포스터리어를 가진 인스턴스를 대리 앵커 포인트로 사용하여 전이 행렬 T_hat를 초기화한다.
• T_hat를 수정하기 위한 슬랙 행렬 Delta T를 도입하고 (T_hat + Delta T를 형성) 가중치가 부여된 위험-일관성 손실을 최적화하여 분류기와 함께 학습한다.
• 전이 행렬의 역행렬에 의존하지 않고 노이즈 데이터로 깨끗한 데이터 위험을 표현하기 위해 중요도 재가중화를 사용한다.
• 2단계 학습 절차를 채택한다: 1단계에서 P(barY|X)를 추정하고 T_hat를 초기화한다; 2단계에서 가중 손실을 통해 f와 Delta T를 학습한다.
• 표준 딥 네트워크 가정하에서 제안된 추정기에 대한 일반화 경계를 제공한다.

실험 결과

연구 질문

• RQ1 학습 중 전이 행렬을 수정하여 정확한 앵커 포인트 없이도 라벨 노이즈 학습이 통계적으로 일관될 수 있는가?
• RQ2 행렬 역수를 피하는 위험-일관성 추정량이 전이 행렬의 효과적인 조정과 노이즈 라벨 하에서의 분류기 성능 향상을 가능하게 하는가?
• RQ3 제안된 T-Revision 접근법이 합성 및 실제 노이즈 데이터에서 앵커 포인트 의존 방법 및 다른 기초 모델과 어떻게 비교되는가?
• RQ4 제안된 추정기로 학습된 분류기의 일반화에 대해 어떤 보장이나 경계가 존재하는가?

주요 결과

• 앵커 포인트에 의존하는 최첨단 방법과 비교할 때 학습된 전이 행렬을 학습된 슬랙 Delta T로 업데이트하는 T-Revision 접근법은 더 우수한 분류 성능을 제공합니다.
• 해당 위험-일관성 추정량은 행렬 역수 없이 노이즈 데이터와 노이즈 검증 세트를 사용하여 전이 행렬의 효과적인 조정을 보여줍니다.
• MNIST, CIFAR-10, CIFAR-100, Clothing1M에 대한 실증 결과는 다양한 노이즈 수준 및 실제 노이즈 하에서 이 방법이 기초 방법을 능가함을 보여준다.
• 2단계 학습 절차는 깨끗한 데이터가 필요하지 않으면서도 전이 행렬을 수정하는 실용적이고 계산적으로 효율적인 방법을 제공한다.
• 제안된 딥 네트워크 기반 추정기에 대한 이론적 일반화 경계가 확립되어 n이 커짐에 따라 신뢰성을 뒷받침한다.