[논문 리뷰] Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels

Xiaobo Xia, Tongliang Liu외 5명|arXiv (Cornell University)|2020. 12. 02.

Machine Learning and Data Classification참고 문헌 68인용 수 24

한 줄 요약

이 논문은 혼합된 닫힘 집합 및 열림 집합 레이블 노이즈를 모델링하기 위해 열림 집합 클래스를 위한 메타클래스를 도입하고, 노이즈가 있는 데이터로부터 클러스터별 전이 행렬을 추정함으로써 클러스터에 의존하는 확장된 전이 행렬인 Extended T를 제안한다. 이 방법은 노이즈 레이블이 있는 실제 얼굴 인식 데이터셋에서 최신 기술 수준의 강건성을 달성하며, 높은 노이즈 비율에서도 이전 방법들을 능가하는 정확도를 보인다.

ABSTRACT

The label noise transition matrix $T$, reflecting the probabilities that true labels flip into noisy ones, is of vital importance to model label noise and design statistically consistent classifiers. The traditional transition matrix is limited to model closed-set label noise, where noisy training data has true class labels within the noisy label set. It is unfitted to employ such a transition matrix to model open-set label noise, where some true class labels are outside the noisy label set. Thus when considering a more realistic situation, i.e., both closed-set and open-set label noise occurs, existing methods will undesirably give biased solutions. Besides, the traditional transition matrix is limited to model instance-independent label noise, which may not perform well in practice. In this paper, we focus on learning under the mixed closed-set and open-set label noise. We address the aforementioned issues by extending the traditional transition matrix to be able to model mixed label noise, and further to the cluster-dependent transition matrix to better approximate the instance-dependent label noise in real-world applications. We term the proposed transition matrix as the cluster-dependent extended transition matrix. An unbiased estimator (i.e., extended $T$-estimator) has been designed to estimate the cluster-dependent extended transition matrix by only exploiting the noisy data. Comprehensive synthetic and real experiments validate that our method can better model the mixed label noise, following its more robust performance than the prior state-of-the-art label-noise learning methods.

연구 동기 및 목표

• 닫힘 집합 및 열림 집합 레이블 노이즈가 동시에 발생하는 상황을 다룰 수 없는 기존 레이블 노이즈 학습 방법의 격차를 보완한다.
• 기존 전이 행렬이 열림 집합 레이블 노이즈에 부적절하고, 두 유형이 동시에 존재할 경우 편향이 발생하는 문제를 해결한다.
• 클래스에 의존하는 것 대신 클러스터에 의존하는 전이 행렬을 도입함으로써 인스턴스에 의존하는 레이블 노이즈의 근사치를 향상시킨다.
• 메타클래스와 진짜 클래스를 위한 앵커 포인트를 활용하여 오직 노이즈가 있는 데이터만을 사용해 확장된 전이 행렬에 대한 편향 없는 추정기법을 개발한다.
• 합성 및 실제 데이터셋에서의 검증을 통해 현실적인 혼합 레이블 노이즈 조건 하에서의 강건성을 입증한다.

제안 방법

• 모든 열림 집합 클래스를 나타내는 메타클래스를 도입함으로써 기존 전이 행렬이 메타클래스를 병행적 실체로 간주함으로써 열림 집합 노이즈를 모델링할 수 있도록 한다.
• 진짜 클래스(닫힘 집합)와 메타클래스(열림 집합) 각각의 클러스터 내에서 앵커 포인트를 식별하여 전이 확률 추정의 신뢰성을 확보한다.
• 기존 전이 행렬을 클러스터에 의존하는 확장된 전이 행렬으로 확장하여, 각 클러스터가 국소적인 노이즈 패턴을 캡처하는 고유한 전이 행렬을 갖도록 한다.
• 앵커 포인트 분포를 기반으로 하여 오직 노이즈가 있는 훈련 데이터만을 사용해 클러스터에 의존하는 확장된 전이 행렬에 대한 편향 없는 추정기법을 설계한다.
• 추정된 클러스터에 의존하는 확장된 전이 행렬을 사용해 훈련 손실을 재가중함으로써 혼합된 레이블 노이즈 조건 하에서도 통계적으로 일致하는 학습을 가능하게 한다.
• 딥 러닝 모델에 적용하기 위해 추정된 전이 행렬을 훈련 목표 함수에 통합하여 레이블 노이즈를 보정한다.

실험 결과

연구 질문

• RQ1 통합된 전이 행렬 프레임워크로 닫힘 집합 및 열림 집합 레이블 노이즈를 동시에 모델링할 수 있는가?
• RQ2 오직 노이즈가 있는 데이터만을 사용해 확장된 전이 행렬에 대한 편향 없는 추정기법을 어떻게 구성할 수 있는가?
• RQ3 클러스터에 의존하는 전이 행렬을 통해 인스턴스에 의존하는 레이블 노이즈를 모델링하면 클래스에 의존하는 근사치에 비해 얼마나 더 강건한 성능 향상을 이룰 수 있는가?
• RQ4 제안된 방법은 현실적인 혼합 레이블 노이즈 설정 하에서 최신 기술 수준의 레이블 노이즈 학습 방법을 능가하는가?
• RQ5 클러스터 수가 복잡한 실제 레이블 노이즈를 모델링하는 데 성능에 어떤 영향을 미치는가?

주요 결과

• MS1MV0 데이터셋에서 Extended T는 평균 정확도 91.51%를 기록하여 두 번째로 좋은 성능을 보인 Extended T-2(91.38%)와 모든 베이스라인을 앞서며 최고의 평균 정확도를 달성했다.
• VggFace-2에서 Extended T는 평균 정확도 91.30%를 기록하여 Co-teaching+(89.40%)와 T-Revision(90.99%)를 앞서며 낮은 노이즈 비율에서도 강건성을 입증했다.
• 클러스터에 의존하는 전이 행렬은 특히 고노이즈인 MS1MV0에서 뚜렷한 성능 향상을 가져왔으며, 복잡한 인스턴스에 의존하는 노이즈를 더 잘 모델링함을 보였다.
• Extended T는 NLNL을 계속해서 능가하며, 복잡한 실제 노이즈 환경에서 신뢰할 수 있는 보조 레이블을 선택하는 데 어려움을 겪는 문제로 인해 성능이 떨어지는 NLNL의 약점을 보완한다.
• 클러스터링 수가 증가함에 따라 성능 저하가 최소한으로 발생함을 확인하여, 저노이즈 설정에서 하이퍼파라미터 선택에 대해 안정적이고 강건함을 보였다.
• 실험 결과는 제안된 확장된 전이 행렬 추정기법이 노이즈가 있는 데이터만으로도 편향 없이 노이즈 패턴을 효과적으로 추정할 수 있음을 확인했다.