[논문 리뷰] The importance of understanding instance-level noisy labels.

Yang Liu|arXiv (Cornell University)|2021. 02. 10.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 과도하게 파rameter화된 딥 뉴럴 네트워크가 개별 샘플 수준에서 인스턴스 의존적 노이즈 레이블을 어떻게 기억하는지 분석하며, 개별 샘플 수준에서의 피해를 조사한다. 기존의 노이즈에 강건한 방법들을 개별 샘플 수준의 완화 전략을 분석하여 평가함으로써, 이러한 접근 방식이 언제이고 왜 성공하는지에 대한 이론적 통찰을 제공하며, 세밀한 레이블 노이즈 영향에 초점을 맞춘다.

ABSTRACT

This paper aims to provide understandings for the effect of an over-parameterized model, e.g. a deep neural network, memorizing instance-dependent noisy labels. We first quantify the harms caused by memorizing noisy instances from different spectra of the sample distribution. We then analyze how several popular solutions for learning with noisy labels mitigate this harm at the instance-level. Our analysis reveals new understandings for when these approaches work, and provides theoretical justifications for previously reported empirical observations. A key aspect of the analysis is its focus on each training instance.

연구 동기 및 목표

• 과도하게 파rameter화된 딥 뉴럴 네트워크가 개별 훈련 샘플 수준에서 인스턴스 의존적 노이즈 레이블에 미치는 영향를 이해하는 것.
• 데이터 분포 스펙트럼의 다양한 영역에서 노이즈 레이블을 기억함으로써 발생하는 손해를 정량화하는 것.
• 기존의 노이즈에 강건한 학습 방법들이 개별 샘플 수준에서 피해를 어떻게 줄이는지 분석하는 것.
• 기존의 노이즈에 강건한 훈련 기법의 효과성에 대한 경험적 관찰을 이론적으로 설명하는 것.

제안 방법

• 저자는 훈련 샘플에 노이즈 레이블이 노출된 후 모델의 예측 오류를 개별 샘플 수준에서 분석함으로써 딥 뉴럴 네트워크의 기억화 행동을 분석한다.
• 노이즈 레이블이 초래하는 피해를 개별 샘플 수준에서 참값 레이블과의 예측의 일치 정도의 편차를 측정함으로써 정량화한다.
• 손실 보정, 일관성 훈련, 강건 최적화와 같은 기존 방법들을 평가하기 위해, 이러한 방법들이 노이즈 레이블로 인한 개별 샘플 오류를 얼마나 줄이는지 평가한다.
• 이러한 방법들이 노이즈 인스턴스의 기억화를 효과적으로 억제할 수 있는 조건을 설명하기 위해 이론적 분석을 수행한다.
• 데이터 분포의 스펙트럼 성분에 초점을 맞춰, 노이즈가 입력 공간의 다양한 영역에 어떻게 영향을 미치는지 평가한다.

실험 결과

연구 질문

• RQ1 인스턴스 의존적 레이블 노이즈는 과도하게 파rameter화된 모델의 일반화 성능에 개별 샘플 수준에서 어떻게 영향을 미치는가?
• RQ2 데이터 분포의 어느 영역이 노이즈 레이블의 기억화에 가장 취약한가?
• RQ3 기존의 노이즈에 강건한 학습 방법들이 노이즈 레이블로 인한 개별 샘플 수준의 피해를 어느 정도 완화하는가?
• RQ4 실제로 관찰된 노이즈에 강건한 훈련 기법의 효과성에 대한 이론적 조건은 무엇인가?

주요 결과

• 인스턴스 의존적 노이즈 레이블의 기억화는 데이터 분포의 고밀도 영역에서 특히 심각한 성능 저하를 초래한다.
• 노이즈 레이블 기억화로 인한 피해는 균일하게 분포되어 있지 않으며, 결정 경계 근처이거나 고곡률 영역에 있는 샘플에서 가장 심각하다.
• 손실 보정 및 일관성 훈련과 같은 방법들은 노이즈가 무작위가 아니라 구조적일 경우에 더 효과적으로 개별 샘플 오류를 줄인다.
• 이론적 분석을 통해 강건 최적화 기법이 노이즈 패턴이 유사한 샘플들 사이에서 예측 가능하고 일관성이 있을 때 가장 효과적으로 작용함을 확인하였다.
• 본 연구는 일부 널리 쓰이는 방법들이 저밀도 영역이나 이방성 영역에서는 피해를 완화하지 못함을 드러내었으며, 여기서 노이즈가 보정될 가능성이 낮다.