[논문 리뷰] A Bernstein-type Inequality for Some Mixing Processes and Dynamical Systems with an Application to Learning

Hanyuan Hang, Ingo Steinwart|arXiv (Cornell University)|2015. 01. 13.

Control Systems and Identification참고 문헌 35인용 수 7

한 줄 요약

이 논문은 $φ$-혼합, $;tilde{φ}$-혼합 및 특정 동역학계를 포함하는 기하학적 ${\cal C}$-혼합 과정에 대해 베르슈타인 유형 부등식을 수립한다. 이에 따라 로그 인자와 상수를 제외한 바, 농도 행동이 i.i.d. 데이터와 동일한 것으로 나타났다. 이 부등식을 이용해 저자들은 정규화된 경험 위험 최소화에 대한 오라클 부등식을 유도하였으며, 가우시안 커널을 사용하는 서포트 벡터 기반 기계가 ${\cal C}$-혼합 조건 하에서 최적의 i.i.d. 레이트에 거의 도달하는 학습률을 확보함을 보였다.

ABSTRACT

We establish a Bernstein-type inequality for a class of stochastic processes that include the classical geometrically $ϕ$-mixing processes, Rio's generalization of these processes, as well as many time-discrete dynamical systems. Modulo a logarithmic factor and some constants, our Bernstein-type inequality coincides with the classical Bernstein inequality for i.i.d.~data. We further use this new Bernstein-type inequality to derive an oracle inequality for generic regularized empirical risk minimization algorithms and data generated by such processes. Applying this oracle inequality to support vector machines using the Gaussian kernels for both least squares and quantile regression, it turns out that the resulting learning rates match, up to some arbitrarily small extra term in the exponent, the optimal rates for i.i.d.~processes.

연구 동기 및 목표

• i.i.d. 데이터를 초월해 혼합 과정과 동역학계를 포함한 더 일반적인 확률적 과정으로 농도 부등식을 확장하는 것.
• 기하학적 ${\cal C}$-혼합 과정에 대해 기존의 $φ$-혼합과 $;tilde{φ}$-혼합을 일반화하는 베르슈타인 유형 부등식을 개발하는 것.
• 새로운 부등식을 정규화된 경험 위험 최소화 알고리즘에 적용하여 오라클 부등식을 도출하는 것.
• 가우시안 커널을 사용하는 서포트 벡터 기반 기계의 학습률을 ${\cal C}$-혼합 데이터 하에서 도출하여 최적의 i.i.d. 레이트에 로그 인자 수준까지 일치시키는 것.
• 미리 정의된 동역학계를 예측하는 문제로 분석을 확장하는 것.

제안 방법

• 저자들은 기하학적 ${\cal C}$-혼합 과정을 정의하고 분석하였으며, 이는 기존 혼합 개념을 일반화하고 많은 이산 시간 동역학계를 포함한다.
• 이 과정에 대해 기하학적 ${\cal C}$-혼합 과정에 대한 베르슈타인 유형 농도 부등식을 수립하였으며, 이는 고전적 i.i.d. 베르슈타인 부등식과 로그 인자와 상수를 제외한 바에서 동일한 결과를 보였다.
• 증명 기법은 ${\cal C}$-혼합 과정의 상관관계 감쇠 특성에 적합하게 조정된 모멘트 부등식과 체이닝 기법을 활용한다.
• 새로운 부등식을 활용해 ${\cal C}$-혼합 조건 하에서 일반적인 정규화된 경험 위험 최소화 방법에 대한 오라클 부등식을 도출하였다.
• 가우시안 커널을 사용하는 서포트 벡터 기반 기계의 경우, 정규화 파rameter를 최적화하여 임의의 $\xi > 0$에 대해 $n^{-\frac{2t}{2t+d} + \xi}$ 순서의 학습률을 달성하였으며, 이는 i.i.d. 레이트와 거의 동일하다.
• 예측 불가능한 동역학계에 대한 오라클 부등식을 추가로 도출하여 비점근적 학습률 분석이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 비혼합 동역학계를 포함하고 $φ$-혼합을 일반화하는 과정 클래스에 대해 베르슈타인 유형 부등식을 수립할 수 있는가?
• RQ2 ${\cal C}$-혼합 과정의 농도 행동이 i.i.d. 데이터와 얼마나 유사한가?
• RQ3 새로운 농도 부등식을 사용해 ${\cal C}$-혼합 조건 하에서 정규화된 학습 알고리즘의 학습률을 도출할 수 있는가?
• RQ4 가우시안 커널을 사용하는 서포트 벡터 기반 기계가 ${\cal C}$-혼합 과정으로부터 생성된 데이터에서 최적의 학습률을 달성하는가?
• RQ5 이 틀을 예측 불가능한 동역학계에 대한 비점근적 보장이 있는 문제로 확장할 수 있는가?

주요 결과

• 기하학적 ${\cal C}$-혼합 과정에 대한 베르슈타인 유형 부등식은 고전적 i.i.d. 베르슈타인 부등식과 로그 인자와 상수를 제외한 바에서 동일하다.
• 새로운 부등식을 통해 ${\cal C}$-혼합 조건 하에서 정규화된 경험 위험 최소화에 대한 오라클 부등식을 도출할 수 있었으며, 이는 i.i.d. 및 $\alpha$-혼합 설정에서의 결과를 일반화한다.
• 가우시안 커널을 사용하는 최소 제곱 회귀 및 분위수 회귀의 경우, 지수에 임의로 작은 추가 항이 존재하는 것 외에는 최적의 i.i.d. 레이트와 일치한다.
• LS-SVM의 학습률은 임의의 $\xi > 0$에 대해 $n^{-\frac{2t}{2t+d} + \xi}$이며, 이는 본질적으로 최적이며 i.i.d. 레이트와 일치한다.
• 예측 불가능한 동역학계에 대한 오라클 부등식이 수립되었으며, 이는 이전의 순수하게 점근적 분석을 비점근적 학습률로 확장한다.
• 조건 $\lambda_n \sigma_n^2 \geq n^{-2}$ 하에서 결과가 성립하며, 이 조건은 $t \geq 1$일 때 최적의 선택인 $\lambda_n = n^{-1}$, $\sigma_n = n^{-\frac{1}{2t+d}}$에 의해 충족된다.