[논문 리뷰] Parts-dependent Label Noise: Towards Instance-dependent Label Noise

Xiaobo Xia, Tongliang Liu외 7명|arXiv (Cornell University)|2020. 06. 14.

Machine Learning and Data Classification참고 문헌 78인용 수 28

한 줄 요약

이 논문은 앵커 포인트를 통해 학습된 부분별 전이 행렬의 조합으로 나타내는 부분에 의존하는 레이블 노이즈를 활용하여 인스턴스에 의존하는 레이블 노이즈를 모델링하는 새로운 접근법을 제안한다. 합성 및 실세계 데이터셋에서의 실험 결과, 최신 기법들보다 뛰어난 성능을 보였다.

ABSTRACT

Learning with the extit{instance-dependent} label noise is challenging, because it is hard to model such real-world noise. Note that there are psychological and physiological evidences showing that we humans perceive instances by decomposing them into parts. Annotators are therefore more likely to annotate instances based on the parts rather than the whole instances. Motivated by this human cognition, in this paper, we approximate the instance-dependent label noise by exploiting extit{parts-dependent} label noise. Specifically, since instances can be approximately reconstructed by a combination of parts, we approximate the instance-dependent extit{transition matrix} for an instance by a combination of the transition matrices for the parts of the instance. The transition matrices for parts can be learned by exploiting anchor points (i.e., data points that belong to a specific class almost surely). Empirical evaluations on synthetic and real-world datasets demonstrate our method is superior to the state-of-the-art approaches for learning from the instance-dependent label noise.

연구 동기 및 목표

• 복잡하고 데이터에 특화된 성격으로 인해 포착하기 어려운 인스턴스에 의존하는 레이블 노이즈를 모델링하는 과제를 해결하기 위해.
• 인간 인지의 기초인 인스턴스를 부분으로 분해하는 방식을 기반으로 레이블 노이즈를 모델링하기 위해.
• 부분 수준의 전이 행렬을 통해 인스턴스 수준의 전이 행렬을 근사화하여 인스턴스에 의존하는 레이블 노이즈가 존재하는 환경에서 학습의 강건성을 향상시키기 위해.
• 근접한 확실한 클래스 소속성을 가진 데이터 포인트인 앵커 포인트를 사용하여 신뢰할 수 있는 전이 행렬을 학습하는 방법을 개발하기 위해.

제안 방법

• 이 방법은 인스턴스를 부분으로 분해하고, 각 인스턴스가 구성 요소 부분들로부터 근사적으로 재구성될 수 있다고 가정함으로써 인스턴스에 의존하는 레이블 노이즈를 모델링한다.
• 인스턴스 수준의 전이 행렬을 부분 수준의 전이 행렬의 가중 조합으로 근사화함으로써 국소화된 노이즈 모델링을 가능하게 한다.
• 부분 수준의 전이 행렬은 특정 클래스에 속할 가능성이 매우 높은 데이터 포인트인 앵커 포인트를 사용하여 학습되며, 이는 노이즈 추정을 위한 신뢰할 수 있는 지도를 제공한다.
• 이 방법은 시각적 인스턴스의 구성성 본질을 활용하여, 부분들이 전체 레이블 노이즈 패턴에 대해 가산적으로 기여함을 가정한다.
• 최종 모델은 이러한 학습된 부분 수준의 행렬을 사용하여 훈련 중에 레이블 노이즈를 보정함으로써 인스턴스에 의존하는 노이즈 하에서 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 인스턴스의 부분을 통해 레이블 노이즈를 모델링하면 인스턴스에 의존하는 레이블 노이즈 하에서 학습 정확도가 향상되는가?
• RQ2 부분 수준의 전이 행렬이 인스턴스 수준의 복잡한 레이블 노이즈의 구조를 얼마나 효과적으로 근사할 수 있는가?
• RQ3 앵커 포인트를 사용하면 노이즈가 많은 레이블 상황에서도 부분 수준의 전이 행렬을 더 안정적이고 신뢰성 있게 추정할 수 있는가?
• RQ4 제안된 부분에 의존하는 접근법은 실세계의 인스턴스에 의존하는 레이블 노이즈를 다루는 데 기존 기법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 인스턴스에 의존하는 레이블 노이즈 하에서 합성 및 실세계 데이터셋 모두에서 최신 기법들을 능가하는 성능을 보였다.
• 실험 결과, 부분을 통해 노이즈를 모델링하면 진정한 기저 클래스 분포를 더 정확하게 추정할 수 있음을 보여주었다.
• 앵커 포인트의 사용은 노이즈가 많은 환경에서도 부분 수준의 전이 행렬을 안정적이고 신뢰성 있게 학습할 수 있도록 해주었다.
• 부분 수준의 모델링을 통해 인스턴스 수준의 노이즈의 구성성 본질을 효과적으로 포착함으로써 일반화 성능 향상이 이루어졌다.