[논문 리뷰] Fast Rates for a kNN Classifier Robust to Unknown Asymmetric Label Noise

Henry W. J. Reeve, Ata Kabán|arXiv (Cornell University)|2019. 06. 11.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 Gao 등이 제안한 Robust kNN 분류기가, 회귀 함수가 측도-연속성 조건을 만족하고 Tsybakov의 마진 조건을 충족할 경우, 알려지지 않은 비대칭 레이블 노이즈 하에서 최소최대 최적의 빠른 수렴 속도를 달성함을 입증한다. 이는 로그 인자까지의 차이를 제외하고는 최소최대 최적의 빠른 수렴 속도를 달성한다. 이 방법은 노이즈 확률이 알려지지 않은 경우에도 일관성과 빠른 수렴 속도를 유지하는 반면, 표준 kNN는 이러한 노이즈 하에서 실패한다.

ABSTRACT

We consider classification in the presence of class-dependent asymmetric label noise with unknown noise probabilities. In this setting, identifiability conditions are known, but additional assumptions were shown to be required for finite sample rates, and so far only the parametric rate has been obtained. Assuming these identifiability conditions, together with a measure-smoothness condition on the regression function and Tsybakov's margin condition, we show that the Robust kNN classifier of Gao et al. attains, the minimax optimal rates of the noise-free setting, up to a log factor, even when trained on data with unknown asymmetric label noise. Hence, our results provide a solid theoretical backing for this empirically successful algorithm. By contrast the standard kNN is not even consistent in the setting of asymmetric label noise. A key idea in our analysis is a simple kNN based method for estimating the maximum of a function that requires far less assumptions than existing mode estimators do, and which may be of independent interest for noise proportion estimation and randomised optimisation problems.

연구 동기 및 목표

• 알려지지 않은 비대칭 레이블 노이즈 하에서 kNN 분류의 빠른 수렴 속도를 확립하는 것.
• 클래스 조건부 노이즈 확률에 대한 사전 지식이 없음에도 Robust kNN 분류기가 최적의 수렴 속도를 유지할 수 있음을 보여주는 것.
• 통계학적 학습에서 알려지지 않은 비대칭 레이블 노이즈가 존재할 경우, 노이즈가 없는 설정과 동일한 난이이도를 가진다는 조건을 규명하는 것.
• 비대칭 레이블 노이즈 하에서 Robust kNN 알고리즘의 경험적 성공에 대한 이론적 근거를 제공하는 것.

제안 방법

• 노이즈가 있는 레이블에서 손상된 회귀 함수 η_corr를 추정하는 플러그인 방법에 기반한 Robust kNN 분류기를 사용한다.
• 진짜 회귀 함수 η를 복원하기 위해 관계식 η_corr(x) = (1 - p₀ - p₁)η(x) + p₀에서 유도된 선형 시스템을 해결하는 데 의존한다.
• 기존 모드 추정기보다 더 적은 가정을 필요로 하는 새로운 kNN 기반 추정기(함수의 최댓값 추정)를 제안하고, 이를 노이즈 비율 추정에 사용한다.
• 분석은 η에 대한 측도-연속성 조건(수정된 리프시츠 조건과 유사)과 Tsybakov의 마진 조건을 가정한다.
• 노이즈 확률의 식별성과 위의 정규성 조건을 동시에 만족할 경우, 일관성과 빠른 수렴 속도 분석을 수행한다.
• 적절한 k_n 스케일링 하에서 수렴을 보장하기 위해 농도 부등식과 Borel-Cantelli 보조정리를 사용하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 레이블 노이즈가 비대칭이고 그 확률이 알려지지 않은 상황에서 kNN 분류에서 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 알려지지 않은 비대칭 레이블 노이즈 하에서 학습의 통계적 난이이도가 최소최대 기준으로 노이즈가 없는 설정과 동일한가?
• RQ3 회귀 함수와 마진 분포에 대한 정규성 조건이 만족될 경우, Robust kNN 분류기가 알려지지 않은 노이즈 확률 하에서도 빠른 수렴 속도를 유지할 수 있는가?
• RQ4 기존의 모드 추정기보다 더 적은 가정을 필요로 하는 단순한 kNN 기반 최댓값 추정기가 존재하는가?
• RQ5 표준 kNN는 비대칭 레이블 노이즈 하에서 왜 실패하는가? 그리고 일관성은 어떻게 복원할 수 있는가?

주요 결과

• 알려지지 않은 비대칭 레이블 노이즈 하에서 Robust kNN 분류기는 최소최대 최적의 빠른 수렴 속도를 달성한다. 이는 로그 인자까지의 차이를 제외하고는 최소최대 최적의 빠른 수렴 속도이다.
• 측도-연속성 조건과 Tsybakov의 마진 조건을 만족할 경우, 노이즈가 없는 상황에서의 최적 속도와 동일한 속도를 달성한다.
• 표준 kNN는 비대칭 레이블 노이즈 하에서 심지어 노이즈 확률이 알려져 있더라도 일관성이 없으며, 학습 및 테스트 회귀 함수 간의 분포 이동이 원인이다.
• 제안된 kNN 기반 최댓값 추정기는 기존의 모드 추정기보다 훨씬 더 약한 가정을 필요로 하며, 노이즈 비율 추정 및 랜덤화 최적화에 유용할 수 있다.
• 이론적 분석은 알려지지 않은 비대칭 레이블 노이즈 하에서 학습이 제시된 조건 하에 노이즈가 없는 경우와 통계적으로 동일한 난이이도를 가진다는 것을 확인한다.
• Robust kNN 방법은 표준 kNN와 동일한 k_n 스케일링(k_n/n → 0, k_n/log n → ∞) 하에서 일관성을 보이지만, 추가적인 정규성 조건이 만족될 경우에만 빠른 수렴 속도를 달성한다.