[논문 리뷰] Fast learning rates for plug-in classifiers under the margin condition

Jean-Yves Audibert, Alexandre B. Tsybakov|arXiv (Cornell University)|2005. 07. 08.

Machine Learning and Algorithms참고 문헌 22인용 수 32

한 줄 요약

이 논문은 마진 조건 하에서 플러그인 분류기가 $n^{-1}$ 보다 빠른 학습 속도—초고속 학습 속도—를 달성할 수 있음을 입증한다. 이는 이전에 이러한 속도가 달성될 수 없다는 추측과 정면으로 배치된다. 비모수적 회귀와 마진 기반 위험 제어를 조합한 추정기들을 구축하여 최적의 속도를 달성하고, 이러한 속도의 정밀성을 확인하기 위해 최소최대 하한선을 증명한다.

ABSTRACT

It has been recently shown that, under the margin (or low noise) assumption, there exist classifiers attaining fast rates of convergence of the excess Bayes risk, i.e., the rates faster than $n^{-1/2}$. The works on this subject suggested the following two conjectures: (i) the best achievable fast rate is of the order $n^{-1}$, and (ii) the plug-in classifiers generally converge slower than the classifiers based on empirical risk minimization. We show that both conjectures are not correct. In particular, we construct plug-in classifiers that can achieve not only the fast, but also the {\it super-fast} rates, i.e., the rates faster than $n^{-1}$. We establish minimax lower bounds showing that the obtained rates cannot be improved.

연구 동기 및 목표

• 플러그인 분류기가 마진 조건 하에서 $n^{-1}$ 보다 더 빠른 빠른 속도를 달성할 수 없다는 오랜 동안의 추측에 도전하기 위해.
• 플러그인 분류기가 수렴 속도 측면에서 경험적 위험 최소화(ERM) 분류기와 동일하거나 이를 초월할 수 있는지 조사하기 위해.
• 유도된 학습 속도의 최적성 확인을 위해 최소최대 하한선을 수립하기 위해.
• 마진 가정을 통해 회귀 추정 오차와 여유 위험 간의 이론적 프레임워크를 수립하여 더 빠른 속도를 가능하게 하기 위해.
• 마진 조건 하에서 $n^{-1}$ 보다 더 빠른 초고속 속도—초고속 속도—가 플러그인 규칙의 철저한 설계를 통해 달성 가능함을 보여주기 위해.

제안 방법

• 비모수적 추정기 $\hat{\eta}_n$ 를 사용하는 형태의 플러그인 분류기 $\hat{f}_n^{PI}(X) = \mathbf{1}_{\{\hat{\eta}_n(X) \geq 1/2\}}$ 를 제안한다. 여기서 $\hat{\eta}_n$ 는 회귀 함수 $\eta(x) = P(Y=1|X=x)$ 의 비모수적 추정기이다.
• 마진 가정(MA)을 도입하여 $P(|\eta(X) - 1/2| \leq \varepsilon)$ 의 尾행동을 제어한다. 이는 $P(|\eta(X) - 1/2| \leq \varepsilon) \leq C\varepsilon^\alpha$ 를 만족하며, $\alpha > 0$ 이다.
• 비교 부등식 (5.3) 을 사용하여 여유 위험 $d(f)$ 와 $\hat{\eta}_n$ 과 $\eta$ 사이의 $L_p$-거리 간의 관계를 분석한다. 이를 통해 $d(f_{\hat{\eta}_n}) \leq C \|\hat{\eta}_n - \eta\|_p^{(1+\alpha)p/(p+\alpha)}$ 를 도출한다.
• 베르누이의 부등식을 적용하여 경험 위험과 진짜 위험 간의 편차를 제어한다. 마진 조건을 활용하여 경험 과정의 분산을 제한한다.
• 함수 클래스의 커버링 넷 $\mathcal{N}_{\varepsilon_n}$ 을 사용한 체이닝 추론을 통해 엔트로피를 제어하고 지수 꼬리 확률을 유도한다.
• 추정 오차와 편차 제어를 균형 잡는 방식으로 최적의 속도 $\Delta_n = n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ 를 도출하며, 하한선을 통해 최소최대 최적성도 증명한다.

실험 결과

연구 질문

• RQ1 마진 조건 하에서 플러그인 분류기가 $n^{-1}$ 보다 더 빠른 학습 속도를 달성할 수 있는가?
• RQ2 플러그인 분류기가 ERM 기반 분류기보다 본질적으로 느리다는 추측은 올바른가?
• RQ3 마진 가정 하에서 플러그인 분류기의 최적 수렴 속도는 무엇인가?
• RQ4 마진 조건 하에서 플러그인 분류기의 여유 위험은 비모수적 추정기의 $L_p$-오차로 유계가 될 수 있는가?
• RQ5 유도된 속도는 최소최대 최적이며, 더 향상시킬 수 있는가?

주요 결과

• 마진 조건 하에서 플러그인 분류기는 $n^{-1}$ 보다 더 빠른 초고속 학습 속도를 달성할 수 있으며, 특히 $n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ 의 순서로 달성된다.
• 속도 $\Delta_n = n^{-\frac{(1+\alpha)p}{(2+\alpha)p + \rho(p+\alpha)}}$ 는 최소최대 최적임이 하한선을 유도함으로써 입증된다.
• 이 논문은 플러그인 분류기의 최고 달성 속도가 $n^{-1}$ 라는 추측을 반박하며, 더 빠른 속도가 가능함을 보여준다.
• 마진 조건은 결론 경계 근처에서 회귀 함수의 행동을 제어함으로써 수렴 속도의 상당한 향상을 가능하게 한다.
• 분석 결과, 플러그인 분류기의 여유 위험은 $\mathbb{E}[R(\hat{f}_n^{PI}) - R(f^*)] \leq C \cdot \Delta_n$ 로 유계가 되며, 이때 $\Delta_n$ 은 $\alpha$, $p$, 그리고 함수 클래스의 엔트로피에 의존한다.
• 회귀 함수 $\eta$ 가 $n^{-1/2}$ 보다 느린 속도로 추정되더라도, 마진 조건이 만족된다면 결과는 여전히 성립한다.