[논문 리뷰] Online Learning as Stochastic Approximation of Regularization Paths

Pierre Tarrès, Yuan Yao|arXiv (Cornell University)|2011. 03. 29.

Control Systems and Identification참고 문헌 17인용 수 11

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 정규화 경로를 순차적으로 근사하는 온라인 학습 알고리즘을 제안하며, RKHS 노름에서 최고의 강한 수렴 속도와 평균 제곱 오차에서 최적의 약한 수렴 속도를 달성한다. 함수의 정규성에 기반해 스텝 크기 수열을 정교하게 조정함으로써, 힐버트 공간 내 마틴갈레에 대한 베르누이 타입 부등식을 사용해 거의 확실 수렴을 보장한다.

ABSTRACT

In this paper, an online learning algorithm is proposed as sequential stochastic approximation of a regularization path converging to the regression function in reproducing kernel Hilbert spaces (RKHSs). We show that it is possible to produce the best known strong (RKHS norm) convergence rate of batch learning, through a careful choice of the gain or step size sequences, depending on regularity assumptions on the regression function. The corresponding weak (mean square distance) convergence rate is optimal in the sense that it reaches the minimax and individual lower rates in the literature. In both cases we deduce almost sure convergence, using Bernstein-type inequalities for martingales in Hilbert spaces. To achieve this we develop a bias-variance decomposition similar to the batch learning setting; the bias consists in the approximation and drift errors along the regularization path, which display the same rates of convergence, and the variance arises from the sample error analysed as a reverse martingale difference sequence. The rates above are obtained by an optimal trade-off between the bias and the variance.

연구 동기 및 목표

• 회귀 함수 추정을 위한 재생 커널 힐버트 공간(RKHS)에서 티코노프 정규화 경로를 온라인으로 근사하는 알고리즘을 개발하는 것.
• 배치 학습에서 알려진 최고 수준의 결과와 일치하는 강한(RKHS 노름) 및 약한(평균 제곱 오차) 수렴 속도를 확립하는 것.
• 힐버트 공간 내 마틴갈레 농도 불등식을 사용해 거의 확실 수렴을 증명하는 것.
• 온라인 설정에서의 편향-분산 분해를 분석하여 근사 오차, 드리프트 오차, 표본 오차를 분리하는 것.
• 함수의 정규성에 따라 의존하는 적응형 스텝 크기 수열을 통해 편향과 분산 간 최적의 트레이드오프를 달성하는 것.

제안 방법

• 알고리즘은 티코노프 정규화에 의해 정의된 정규화 경로를 따라 확률적 근사 기반으로 가설을 순차적으로 갱신한다.
• 편향은 경로를 따라 발생하는 근사 오차와 드리프트 오차에서 기인하고, 분산은 역 마틴갈레 차분 수열로 모델링된 표본 오차에서 기인하는 편향-분산 분해를 적용한다.
• 함수의 정규성 가정에 기반해 스텝 크기 수열을 적응적으로 선택하여 편향과 분산을 균형 잡는다.
• 오차의 고확률 경계를 도출하기 위해 힐버트 공간 내 마틴갈레에 대한 베르누이 타입 부등식을 분석에 활용한다.
• 정규화 경로를 추적하기 위해 경험 공분산 연산자의 스펙트럼 성질과 투영 연산자를 활용한다.
• 이론적 보장을 위해 무한한 표본 크기, 잡음의 적분 가능성, 스텝 크기 수열의 합수렴성 등의 가정을 설정한다.

실험 결과

연구 질문

• RQ1 온라인 학습이 배치 학습과 동일한 RKHS 노름에서 강한 수렴 속도를 달성할 수 있는가?
• RQ2 온라인 학습의 약한 수렴 속도가 최소화된 하한 및 개인 하한의 관점에서 최적이기는 한가?
• RQ3 마틴갈레 불등식을 사용해 온라인 정규화 경로 근사에서 거의 확실 수렴을 확립할 수 있는가?
• RQ4 온라인 학습에서의 편향-분산 분해는 배치 학습과 비교해 어떻게 다른가?
• RQ5 온라인 설정에서 근사 오차와 표본 오차 간 최적의 트레이드오프를 보장하는 스텝 크기 수열은 무엇인가?

주요 결과

• 제안된 온라인 알고리즘은 배치 학습에서의 최고 수준 결과와 일치하는 최고의 강한 수렴 속도를 RKHS 노름에서 달성한다.
• 약한 수렴 속도는 최적이며, 문헌에서 확립된 최소화된 하한 및 개인 하한에 도달한다.
• 힐버트 공간 내 마틴갈레에 대한 베르누이 타입 부등식을 사용해 거의 확실 수렴이 증명된다.
• 편향 항은 근사 오차와 드리프트 오차로 구성되며, 이 둘 모두가 배치 학습과 동일한 속도로 수렴한다.
• 표본 오차에서 기인하는 분산 항은 성장이 통제된 역 마틴갈레 차분 수열로 분석된다.
• 함수의 정규성 가정에 기반해 최적의 스텝 크기 수열이 유도되었으며, 이는 편향과 분산 간 최적의 트레이드오프를 보장한다.