[논문 리뷰] Learning with Bounded Instance- and Label-dependent Label Noise

Jiacheng Cheng, Tongliang Liu외 2명|arXiv (Cornell University)|2017. 09. 12.

Machine Learning and Data Classification참고 문헌 63인용 수 28

한 줄 요약

이 논문은 인스턴스 및 레이블에 의존하는 레이블 노이즈(Bounded Instance- and Label-dependent Label Noise, BILN)를 다루기 위한 새로운 학습 알고리즘을 제안한다. 여기서 노이즈 비율은 상한선이 있으며 인스턴스와 레이블에 따라 달라진다. '정련된 예시'(distilled examples) — 베이즈 최적 분류기의 예측과 일치하는 레이블을 가진 데이터 포인트 — 를 도입함으로써, 통계적 일致성과 강건성을 확보하였으며, 다양한 노이즈 조건 하에서 합성 및 실제 데이터셋에 대해 베이스라인보다 뛰어난 성능을 보이는 실험 결과를 제시한다.

ABSTRACT

Instance- and Label-dependent label Noise (ILN) widely exists in real-world datasets but has been rarely studied. In this paper, we focus on Bounded Instance- and Label-dependent label Noise (BILN), a particular case of ILN where the label noise rates -- the probabilities that the true labels of examples flip into the corrupted ones -- have upper bound less than $1$. Specifically, we introduce the concept of distilled examples, i.e. examples whose labels are identical with the labels assigned for them by the Bayes optimal classifier, and prove that under certain conditions classifiers learnt on distilled examples will converge to the Bayes optimal classifier. Inspired by the idea of learning with distilled examples, we then propose a learning algorithm with theoretical guarantees for its robustness to BILN. At last, empirical evaluations on both synthetic and real-world datasets show effectiveness of our algorithm in learning with BILN.

연구 동기 및 목표

• Bounded Instance- and Label-dependent Label Noise(BILN)에 대한 이론적 및 알고리즘적 해결책의 부족을 해결하기 위해.
• BILN에 대한 강건성에 대한 이론적 보장을 확립하기 위해, 통계적 일치성과 성능 경계를 포함한다.
• BILN 하에서 베이즈 최적 분류기에 수렴하도록 정련된 예시를 활용하는 실용적인 학습 알고리즘을 개발하기 위해.
• 다양한 노이즈 비율 하에서 합성 및 실제 데이터셋에 대해 알고리즘을 실증적으로 평가하여, 노이즈 상한선에 대한 사전 지식 없이도 효과성을 입증하기 위해.

제안 방법

• 노이즈가 존재할 수 있는 인스턴스와 레이블에 대해, 베이즈 최적 분류기의 예측과 일치하는 레이블을 가진 '정련된 예시'의 개념을 도입한다. 이는 이러한 예시들이 존재하고 식별 가능하다는 가정 하에 이루어진다.
• BILN 하에서 베이즈 최적 분류기에 수렴하도록 정련된 예시를 기반으로 학습하는 알고리즘을 제안한다.
• 노이즈 상한선에 대한 사전 지식 없이도 정련된 예시를 식별하기 위해, 노이즈가 있는 모델에서 상위 활성화를 보이는 예시를 선택하는 데 하이퍼파라미터 $ k $ 를 활용한다.
• 반복적 개선과 고신뢰도 예측의 능동적 선택을 통해 노이즈 비율을 추정하는 알고리즘의 변형을 사용한다.
• 이론적 분석을 통해 BILN 하에서 통계적 일치성을 증명하고 일반화 오차 경계를 유도한다.
• 앵커 포인트와 신뢰도 임계값을 기반으로 한 노이즈 비율 추정 전략을 활용하여 잘못된 레이블을 가진 예시를 식별하고 필터링한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 Bounded Instance- and Label-dependent Label Noise(BILN)에 오염된 상황에서 학습 알고리즘이 통계적 일치성을 달성할 수 있는가?
• RQ2 노이즈 비율에 대한 사전 지식 없이도 정련된 예시를 어떻게 식별하고 활용하여 BILN에 대한 강건성을 향상시킬 수 있는가?
• RQ3 다양한 수준의 인스턴스 및 레이블에 의존하는 노이즈 하에서 제안된 알고리즘의 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ4 노이즈 상한선이 알려져 있지 않을 경우 하이퍼파라미터 $ k $ 의 선택에 알고리즘이 얼마나 민감한가?
• RQ5 제안된 방법은 복잡하고 비균일한 노이즈 패턴을 가진 실제 데이터셋으로 일반화될 수 있는가?

주요 결과

• 노이즈 비율이 (0.49, 0.49)인 합성 데이터셋에서 제안된 알고리즘이 99.23%의 정확도를 기록하여, 베이스라인인 peer loss(89.10%)와 noisy+act(92.36%)보다 뚜렷이 뛰어난 성능을 보였다.
• 노이즈 비율이 (0.5, 0.5)인 UCI Image 데이터셋에서 알고리즘은 74.51%의 정확도를 기록하여, peer loss(64.61%)와 noisy+act(69.45%)를 모두 앞섰다.
• 노이즈 비율이 (0.5, 0.5)인 USPS (6vs8) 데이터셋에서 알고리즘은 83.40%의 정확도를 기록하여, peer loss(82.52%)와 noisy+act(77.95%)를 능가했다.
• 노이즈 상한선 $ \rho_{+1\text{max}} $ 와 $ \rho_{-1\text{max}} $ 를 사전에 알 필요가 없는 변형인 'Algo. 1 w/o $ \rho_{\pm 1\text{max}} $' 는 알려진 노이즈 상한선을 사용한 버전과 비교해 유사하거나 더 뛰어난 성능을 보였다.
• 알고리즘은 하이퍼파라미터 $ k $ 에 대해 강건성을 보였으며, 그림 2의 성능 곡선은 세 데이터셋 모두에서 다양한 $ k $ 값에 대해 안정된 정확도를 유지함을 보였다.