[논문 리뷰] Estimating Instance-dependent Label-noise Transition Matrix using DNNs.

Shuo Yang, Erkun Yang외 5명|arXiv (Cornell University)|2021. 05. 27.

Machine Learning and Data Classification참고 문헌 61인용 수 14

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 레이블 노이즈가 있는 데이터에서 베이즈 최적 레이블과 노이즈가 있는 레이블 간의 전이 행렬을 추정하는 새로운 방법을 제안한다. 이는 베이즈 최적 레이블이 일항(posterior) 분포를 가지며, 이로 인해 불확실성이 감소하고 해의 공간이 축소된다는 사실을 활용한다. 이 방법은 인스턴스에 의존하는 레이블 노이즈 하에서 더 정확하고 일반화 능력이 뛰어난 분류기 학습을 가능하게 하며, 기존의 청정 레이블 전이 행렬 추정 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In label-noise learning, estimating the transition matrix is a hot topic as the matrix plays an important role in building statistically consistent classifiers. Traditionally, the transition from clean distribution to noisy distribution (i.e., clean label transition matrix) has been widely exploited to learn a clean label classifier by employing the noisy data. Motivated by that classifiers mostly output Bayes optimal labels for prediction, in this paper, we study to directly model the transition from Bayes optimal distribution to noisy distribution (i.e., Bayes label transition matrix) and learn a Bayes optimal label classifier. Note that given only noisy data, it is ill-posed to estimate either the clean label transition matrix or the Bayes label transition matrix. But favorably, Bayes optimal labels are less uncertain compared with the clean labels, i.e., the class posteriors of Bayes optimal labels are one-hot vectors while those of clean labels are not. This enables two advantages to estimate the Bayes label transition matrix, i.e., (a) we could theoretically recover a set of Bayes optimal labels under mild conditions; (b) the feasible solution space is much smaller. By exploiting the advantages, we estimate the Bayes label transition matrix by employing a deep neural network in a parameterized way, leading to better generalization and superior classification performance.

연구 동기 및 목표

• 인스턴스에 의존하는 레이블 노이즈 하에서 강건한 분류기를 학습하는 데 도전하는 것. 이는 기존의 청정 레이블 전이 행렬 추정 방법이 부적절한 문제에 대응하기 위함이다.
• 베이즈 최적 레이블이 일항 클래스 사후 확률을 가진다는 성질을 활용하여 불확실성을 줄이고 더 안정적인 행렬 추정을 가능하게 하는 것.
• 노이즈가 있는 데이터로부터 직접 베이즈 레이블 전이 행렬을 추정하기 위한 파arameterized 깊이 신경망 접근법을 개발하는 것.
• 베이즈 최적 레이블의 더 작은 타당한 해 공간을 활용하여 일반화 능력과 분류 성능를 향상시키는 것.
• 노이즈가 있는 데이터로부터 베이즈 최적 레이블을 이론적으로 복원할 수 있는 조건을 설정하는 것.

제안 방법

• 청정 레이블에서 노이즈가 있는 레이블로의 전이가 아니라, 베이즈 최적 레이블 분포에서 관측된 노이즈가 있는 레이블 분포로의 전이를 모델링하는 것.
• 깊이 신경망을 사용하여 베이즈 레이블 전이 행렬을 파arameterization하여 노이즈가 있는 데이터로부터 엔드 투 엔드 학습을 가능하게 하는 것.
• 베이즈 최적 레이블의 일항 성질을 활용하여 해 공간을 제약하고 추정의 안정성을 향상시키는 것.
• 예측된 노이즈가 있는 레이블 분포와 관측된 노이즈가 있는 레이블 분포 간의 차이를 최소화하는 최적화 문제로 추정을 공식화하는 것.
• 이론적 복원이 가능한 가벼운 가정 하에 노이즈가 있는 데이터만을 사용하여 네트워크를 훈련하는 것.
• 추정된 전이 행렬을 분류기 학습 파이프라인에 통합하여 통계적으로 일관된 예측을 생성하는 것.

실험 결과

연구 질문

• RQ1 베이즈 최적 레이블의 일항 성질을 고려할 때, 노이즈가 있는 데이터만으로 베이즈 레이블 전이 행렬을 신뢰성 있게 추정할 수 있는가?
• RQ2 베이즈 최적 레이블에서 노이즈가 있는 레이블로의 전이를 모델링하는 것이 청정 레이블에서 노이즈가 있는 레이블로의 전이를 모델링하는 것보다 더 나은 일반화 성능을 보이는가?
• RQ3 이 방법을 사용하여 노이즈가 있는 데이터로부터 이론적으로 베이즈 최적 레이블을 복원할 수 있는 조건는 무엇인가?
• RQ4 베이즈 레이블 전이의 축소된 타당한 해 공간이 추정 정확도와 모델의 강건성에 어떻게 기여하는가?
• RQ5 기존의 레이블 노이즈 학습 기법에 비해 제안된 방법의 경험적 성능 향상은 어떠한가?

주요 결과

• 제안된 방법은 인스턴스에 의존하는 노이즈 설정 하에서 최신 기술 대비 뛰어난 분류 성능를 달성한다.
• 이론적 분석을 통해 베이즈 최적 레이블은 가벼운 조건 하에서 복원 가능하며, 이는 전이 행렬의 일관된 추정을 가능하게 한다.
• 베이즈 최적 레이블의 일항 성질은 불확실성을 크게 줄여 더 작고 안정적인 타당한 해 공간을 제공한다.
• 딥 뉴럴 네트워크 기반의 전이 행렬 파arameterization은 노이즈가 있는 데이터에서 더 나은 일반화 능력과 강건성을 제공한다.
• 경험적 결과는 베이즈 레이블 전이 행렬에서 학습하는 것이 청정 레이블 전이 행렬에서 학습하는 것보다 더 정확하고 일관된 분류기를 도출한다는 것을 보여준다.