[논문 리뷰] Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation

De Cheng, Tongliang Liu외 6명|arXiv (Cornell University)|2022. 06. 06.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 인스턴스에 의존하는 레이블 노이즈 학습을 위한 다양체 정규화 전이 행렬 추정 방법을 제안한다. 이는 근접한 인스턴스 간의 기하학적 유사성을 활용하여 개별 인스턴스 전이 행렬의 추정을 안정화한다. 이 방법은 고노이즈 비율에서 합성 및 실세계 데이터셋에서 기존 방법들보다 최대 7.67% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In label-noise learning, estimating the transition matrix has attracted more and more attention as the matrix plays an important role in building statistically consistent classifiers. However, it is very challenging to estimate the transition matrix T(x), where x denotes the instance, because it is unidentifiable under the instance-dependent noise(IDN). To address this problem, we have noticed that, there are psychological and physiological evidences showing that we humans are more likely to annotate instances of similar appearances to the same classes, and thus poor-quality or ambiguous instances of similar appearances are easier to be mislabeled to the correlated or same noisy classes. Therefore, we propose assumption on the geometry of T(x) that "the closer two instances are, the more similar their corresponding transition matrices should be". More specifically, we formulate above assumption into the manifold embedding, to effectively reduce the degree of freedom of T(x) and make it stably estimable in practice. The proposed manifold-regularized technique works by directly reducing the estimation error without hurting the approximation error about the estimation problem of T(x). Experimental evaluations on four synthetic and two real-world datasets demonstrate that our method is superior to state-of-the-art approaches for label-noise learning under the challenging IDN.

연구 동기 및 목표

• 레이블 노이즈 학습에서 식별이 불가능한 조건 하에서 인스턴스에 의존하는 전이 행렬(IDTM)을 추정하는 문제에 대응하기 위해.
• 근사 오차를 크게 증가시키지 않으면서 IDTM의 추정 오차를 줄이기 위해.
• 실세계 데이터셋에서 고노이즈 비율 하에서도 분류기의 일致성과 일반화 성능을 향상시키기 위해.
• 기존의 노이즈 레이블 학습 프레임워크를 향상시키는 즉시 사용 가능한 모듈을 개발하기 위해.

제안 방법

• 심리적 및 생리적 증거에 기반하여 인간의 레이블링 행동에 기반한 기하학적 가정을 제안: '두 인스턴스가 가까울수록 그들의 전이 행렬이 더 유사해야 한다'.
• 다양체 임bedding을 통해 이 가정을 수식화하여, k-최근접 이웃 유사도 행렬을 사용해 전이 행렬 추정을 정규화한다.
• 단일 완전 연결 계층을 가진 전이 신경망(TNN)을 활용하여 개별 인스턴스 전이 행렬 $ T(\mathbf{x}) $ 를 예측하고, 이를 다양체 구조로 정규화한다.
• 유사한 인스턴스 $ \mathbf{x}_i, \mathbf{x}_j $ 에 대해 $ T(\mathbf{x}_i) $ 와 $ T(\mathbf{x}_j) $ 의 차이를 크게 방지하는 다각체 정규화 손실을 도입하여 추정 분산을 감소시킨다.
• 분류기의 엔드 투 엔드 훈련을 위해 교차 엔트로피 손실을 사용하며, 추정된 $ T(\mathbf{x}) $ 는 최적화 과정에서 노이즈 레이블 보정에 사용된다.
• 일반화 성능 향상과 특성 공간 내 비선형 관계를 포착하기 위해 선형 버전(MEIDTM)과 커널 버전(kMEIDTM)을 제안한다.

실험 결과

연구 질문

• RQ1 인스턴스 간 기하학적 유사성을 활용하여 인스턴스에 의존하는 전이 행렬의 추정을 안정화할 수 있는가?
• RQ2 전이 행렬 $ T(\mathbf{x}) $ 에 대해 다각체의 매끄러움을 강제로 적용하면 근사 오차를 크게 증가시키지 않고도 추정 오차를 줄일 수 있는가?
• RQ3 복잡한 실세계 레이블 노이즈와 고노이즈 비율 하에서 제안된 방법의 성능은 어떠한가?
• RQ4 이 방법은 기존 최신 기술 프레임워크에 즉시 사용 가능한 모듈로 효과적으로 통합될 수 있는가?
• RQ5 다양체 정규화와 분류 손실을 균형 잡는 데 최적의 하이퍼파rameter $ \lambda $ 는 무엇인가?

주요 결과

• 제안된 kMEIDTM 방법은 모든 노이즈 비율에서 베이스라인 CE 방법보다 2.55%에서 17.29%까지 향상되었으며, 높은 노이즈 비율에서 성능 향상이 더욱 두드러졌다.
• 50% 노이즈가 있는 CIFAR-10에서 kMEIDTM는 두 번째로 좋은 방법보다 4.69% 향상되어 극단적인 노이즈 환경에서도 강건성을 입증했다.
• DivideMix 프레임워크에 적용했을 때 Clothing1M에서는 0.15% 향상되었고, Food101N에서는 1.22% 향상되어 즉시 사용 가능한 모듈로서의 뛰어난 일반화 성능을 보였다.
• IDTM 추정 오차는 훈련 중에 지속적으로 감소하여 최적화 과정의 효과성을 확인했다.
• 최적의 하이퍼파rameter $ \lambda $ 는 약 0.3로 확인되었으며, 고노이즈 조건에서는 성능이 민감하게 반응했지만, 저노이즈 조건에서는 안정적이었다.
• 커널 버전(kMEIDTM)은 모든 설정에서 선형 버전(MEIDTM)보다 0.06%에서 2.76%까지 일관되게 뛰어난 성능을 보였다.