[논문 리뷰] Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization

Yivan Zhang, Gang Niu외 1명|arXiv (Cornell University)|2021. 02. 04.

Machine Learning and Data Classification참고 문헌 68인용 수 24

한 줄 요약

이 논문은 오직 노이즈가 섞인 레이블만을 사용하여 노이즈 전이 행렬을 추정하고 분류기를 동시에 학습하는 새로운 방법을 제안한다. 이는 신뢰할 수 없는 노이즈가 섞인 클래스 사후확률 추정에 의존하지 않는다. 총변동성 정규화를 활용하여 예측 확률 간의 구별 가능성을 높임으로써, 약한 가정 하에 일관된 전이 행렬 추정을 달성하며, 벤치마크 및 실세계 데이터셋에서 기존의 베이스라인들을 능가한다.

ABSTRACT

Many weakly supervised classification methods employ a noise transition matrix to capture the class-conditional label corruption. To estimate the transition matrix from noisy data, existing methods often need to estimate the noisy class-posterior, which could be unreliable due to the overconfidence of neural networks. In this work, we propose a theoretically grounded method that can estimate the noise transition matrix and learn a classifier simultaneously, without relying on the error-prone noisy class-posterior estimation. Concretely, inspired by the characteristics of the stochastic label corruption process, we propose total variation regularization, which encourages the predicted probabilities to be more distinguishable from each other. Under mild assumptions, the proposed method yields a consistent estimator of the transition matrix. We show the effectiveness of the proposed method through experiments on benchmark and real-world datasets.

연구 동기 및 목표

• 오직 노이즈가 섞인 레이블만 존재할 때 다중분류 문제에서 노이즈 전이 행렬을 추정하는 문제에 대응하기 위해.
• 딥 네URAL 네트워크에서 과신 경향이 있는 오류가 발생하기 쉬운 노이즈가 섞인 클래스 사후확률 추정에 의존하는 것을 제거하기 위해.
• 노이즈 데이터로부터 전이 행렬을 추정하고 분류기를 동시에 훈련하는 통합 프레임워크를 개발하기 위해.
• 앵커 포인트의 존재를 포함한 약한 가정 하에 전이 행렬 추정기의 이론적 일관성을 보장하기 위해.
• 예측 확률의 구별 가능성을 높이는 정규화를 통해 약한 지도학습에서 일반화 성능과 강건성을 향상시키기 위해.

제안 방법

• 총변동성 정규화를 도입하여 예측된 클래스 사후확률 간의 구별 가능성을 높이고, 총변동거리 하에서 전이 행렬의 수축 성질을 활용한다.
• 신경망을 사용하여 청소된 클래스 사후확률 $\bm{p}(Y|X)$를 예측하면서, 훈련 중 혼동행렬을 기반으로 갱신되는 농도 매개변수를 갖는 딜레트 분포를 통해 전이 행렬 $\bm{T}$를 모델링한다.
• 분류를 위한 교차엔트로피 손실과 예측 확률 간의 쌍별 총변동성 정규화 항을 조합한 공동 학습 목표함수를 사용하여 $\bm{T}$의 식별 가능성을 향상시킨다.
• 총변동거리 기반의 부분순서를 사용하여 동치 전이 행렬들 간에 정렬하고, 앵커 포인트 가정 하에 '가장 청소된' $\bm{p}$를 최적의 해로 선정한다.
• 두 모듈 아키텍처를 활용: 하나는 클래스 확률 예측을 위한 것이고, 다른 하나는 딜레트 분포와 혼동행렬 통계를 사용한 적응형 전이 행렬 추정을 위한 것이다.
• 운동량을 사용한 확률적 경사하강법을 적용하고, 노이즈 구조에 대한 사전 지식에 기반해 전이 행렬 또는 농도 매개변수를 초기화한다.

실험 결과

연구 질문

• RQ1 노이즈가 섞인 클래스 사후확률 추정에 의존하지 않고 오직 노이즈가 섞인 레이블만으로도 노이즈 전이 행렬을 일관되게 추정할 수 있는가?
• RQ2 레이블 손상 과정의 내재된 구조를 어떻게 활용하여 관측적으로 동치인 모델들 중 진짜 전이 행렬을 식별할 수 있는가?
• RQ3 예측된 클래스 확률이 충분히 구별 가능하도록 보장하는 정규화 전략은 무엇인가?
• RQ4 청결한 레이블이나 앵커 포인트 탐지 없이도 전이 행렬 추정과 강건한 분류기 훈련을 동시에 수행할 수 있는 통합 훈련 절차를 설계할 수 있는가?
• RQ5 총변동성 정규화는 기존의 두 단계 방법에 비해 일반화 성능 향상과 더 정확한 전이 행렬 추정을 이끌어내는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 최신 기준 성능을 달성하여, Forward, T-Revision, Dual-T, CCE 등의 기존 베이스라인을 능가했으며, Clothing1M 데이터셋에서 평균 정확도 71.65%를 기록했다.
• 대부분의 설정에서 전이 행렬 추정의 평균 총변동 오차가 기존 베이스라인보다 유의미하게 낮아, 진짜 노이즈 구조를 더 정확히 복원함을 시사한다.
• 실세계 데이터셋인 Clothing1M에서 71.65%의 테스트 정확도를 달성하여, 청결한 검증 데이터 없이도 대규모 노이즈가 섞인 학습 환경에서 효과적임을 입증했다.
• 추정된 전이 행렬은 시각적으로 유사한 카테고리가 더 자주 혼동되는 등 의미적으로 유의미한 오분류 패턴을 드러내어 해석 가능성과 실제 적용 가능성의 잠재력을 보였다.
• 두 단계 방법인 Dual-T보다도 정확도와 행렬 추정 오차 측면에서 뛰어나면서도, 이러한 방법들보다 낮은 계산 비용을 기록했다.
• 이론적 분석 결과, 앵커 포인트의 존재를 포함한 약한 가정 하에 제안된 방법이 노이즈 전이 행렬의 일관된 추정기를 제공함을 보였다.