[논문 리뷰] Classification with unknown class-conditional label noise on non-compact feature spaces

Henry W. J. Reeve, Ata Kabán|arXiv (Cornell University)|2019. 02. 14.

Machine Learning and Data Classification참고 문헌 30인용 수 4

한 줄 요약

이 논문은 비유계 거리 공간에서 알려지지 않은 클래스 조건부 레이블 노이즈 하에서 비모수적 분류에 대해 최소최대 최적 학습률을 확립한다. 레이블 노이즈가 없는 설정과 동일한 학습률을 달성하는 조건은 회귀 함수가 극값에 빠르게 접근할 경우이며, 반대로 수렴 속도가 느릴 경우 학습률이 열등해지며, 분포 매개변수나 국소 밀도에 대한 사전 지식 없이도 이러한 최적 학습률을 달성하는 적응형 알고리즘을 제시한다.

ABSTRACT

We investigate the problem of classification in the presence of unknown class-conditional label noise in which the labels observed by the learner have been corrupted with some unknown class dependent probability. In order to obtain finite sample rates, previous approaches to classification with unknown class-conditional label noise have required that the regression function is close to its extrema on sets of large measure. We shall consider this problem in the setting of non-compact metric spaces, where the regression function need not attain its extrema. In this setting we determine the minimax optimal learning rates (up to logarithmic factors). The rate displays interesting threshold behaviour: When the regression function approaches its extrema at a sufficient rate, the optimal learning rates are of the same order as those obtained in the label-noise free setting. If the regression function approaches its extrema more gradually then classification performance necessarily degrades. In addition, we present an adaptive algorithm which attains these rates without prior knowledge of either the distributional parameters or the local density. This identifies for the first time a scenario in which finite sample rates are achievable in the label noise setting, but they differ from the optimal rates without label noise.

연구 동기 및 목표

• 비유계 거리 공간에서 알려지지 않은 클래스 조건부 레이블 노이즈가 존재하는 분류 문제에 대해 최소최대 최적 학습률을 규명하는 것.
• 회귀 함수가 극값에 도달하는 속도가 학습 성능에 미치는 영향을 분석하는 것.
• 분포 매개변수나 국소 밀도에 대한 사전 지식 없이도 최적 학습률을 달성하는 적응형 알고리즘을 개발하는 것.
• 유한 표본 학습률이 레이블 노이즈 설정에서 노이즈가 없는 설정과 다를 수 있는 상황을 특정하는 것.

제안 방법

• 저자들은 조건부 밀도가 임계값 이하일 영역에서 측도의 감쇠 특성을 기반으로 한 유연한 尾(꼬리) 가정을 도입하여, 밀도가 유계이거나 코팅 차원이 유한하다는 제약이 없는 가정을 피한다.
• 분포의 꼬리에서 회귀 함수의 渐近적 행동을 분석함으로써 최소최대 최적 학습률(로그 인자까지)을 유도한다.
• 데이터 기반 신뢰구간 접근을 통해 최적의 k를 선택하는 k-NN 기반의 적응형 알고리즘을 제안하며, 기저 분포에 대한 사전 지식 없이도 수렴을 보장한다.
• 홀더 연속성과 최소 질량 가정 하에서 k-NN 회귀에 대한 고확률 경계에 기반하며, 유니온 바ounds와 농도 불등식을 활용한다.
• 편향과 분산을 균형 잡는 안정적인 k값을 선택하기 위해 신뢰구간 교차 전략을 사용한다.
• 이론적 분석을 통해 알고리즘이 알려지지 않은 레이블 노이즈 조건 하에서도 최소최대 최적 학습률(로그 인자까지)을 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 회귀 함수의 꼬리 행동에 대해 어떤 조건에서 레이블 노이즈 설정에서의 학습률이 노이즈가 없는 설정과 일치하는가?
• RQ2 비유계 특징 공간에서 알려지지 않은 클래스 조건부 레이블 노이즈가 존재할 경우, 유한 표본 학습률을 달성할 수 있는가?
• RQ3 회귀 함수가 꼬리에서 극값에 더 천천히 접근할 경우 수렴 속도가 열등해지는가?
• RQ4 분포의 밀도나 매개변수에 대한 사전 지식 없이도 최적 학습률을 달성하는 적응형 알고리즘을 설계할 수 있는가?
• RQ5 레이블 노이즈가 존재하는 상황에서 노이즈가 없는 경우의 최적 학습률과 다를 수 있는 상황이 존재하는가?

주요 결과

• 최소최대 최적 학습률은 분포의 꼬리에서 회귀 함수가 극값에 도달하는 속도에 따라 결정된다.
• 회귀 함수가 극값에 빠르게 접근할 경우, 최적 학습률은 로그 인자까지 노이즈가 없는 설정과 일치한다.
• 회귀 함수가 극값에 천천히 접근할 경우, 분류 성능는 필연적으로 열등해지며, 학습률은 최적 수준을 벗어나게 된다.
• 분포 매개변수나 국소 밀도에 대한 사전 지식 없이도 최소최대 최적 학습률을 달성하는 적응형 알고리즘을 제안한다.
• 이 논문은 레이블 노이즈가 존재하는 상황에서 유한 표본 학습률을 달성할 수 있지만, 노이즈가 없는 경우의 최적 학습률과 다를 수 있는 첫 번째 사례를 규명한다.
• 비유계 영역에서 함수 최댓값을 추정하는 단순하고 적응형 방법을 분석의 부산물로 제시한다.