[논문 리뷰] Online Nonparametric Regression

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|2014. 02. 11.

Face and Expression Recognition인용 수 19

한 줄 요약

이 논문은 순차적 엔트로피를 사용하여 온라인 비모수적 회귀의 최적의 위험률을 확립하며, i.i.d. 학습과 유사한 단계 전이를 보여준다. 이는 이러한 위험률을 달성하는 일반적인 예측기의 도입과 함께, 순차적 및 경험 엔트로피가 일치할 경우 온라인 위험률이 i.i.d. 학습 위험률과 로그 인자 이내로 일치함을 보여준다.

ABSTRACT

We establish optimal rates for online regression for arbitrary classes of regression functions in terms of the sequential entropy introduced in (Rakhlin, Sridharan, Tewari, 2010). The optimal rates are shown to exhibit a phase transition analogous to the i.i.d./statistical learning case, studied in (Rakhlin, Sridharan, Tsybakov 2013). In the frequently encountered situation when sequential entropy and i.i.d. empirical entropy match, our results point to the interesting phenomenon that the rates for statistical learning with squared loss and online nonparametric regression are the same. In addition to a non-algorithmic study of minimax regret, we exhibit a generic forecaster that enjoys the established optimal rates. We also provide a recipe for designing online regression algorithms that can be computationally efficient. We illustrate the techniques by deriving existing and new forecasters for the case of finite experts and for online linear regression.

연구 동기 및 목표

• 임의의 함수 클래스에 대해 온라인 비모수적 회귀의 최소최대 위험률을 확립하기 위해.
• 순차적 엔트로피를 복잡도 측정 기준으로 도입함으로써 방어적 예측과 집계 절차를 통합하기 위해.
• 적당한 조건 하에서 온라인 회귀의 위험률이 i.i.d. 통계적 학습의 위험률과 일치함을 보여주기 위해.
• 최적의 속도를 달성하는 일반적이고 계산적으로 실현 가능한 예측 알고리즘을 제공하기 위해.
• 유한 차원 선형 모델을 초월하여 풍부한 비모수적 클래스로 기존 결과를 확장하기 위해.

제안 방법

• 제곱 손실을 가진 온라인 회귀에서 위험을 특성화하기 위해 순차적 엔트로피를 복잡도 측정 기준으로 사용한다.
• 이중 수준의 예측 절차를 도입한다: 작은 함수 구역에서 국소 최대 최소 알고리즘을 적용하고, 이를 집계 방법으로 통합한다.
• 예측기의 허용 가능성(Admissibility)을 증명하기 위해 이론적 완화 기법을 활용하며, 쌍대성과 대칭화를 적용한다.
• 클리핑을 통해 안정성을 확보한 Vovk-Azoury-Warmuth 예측기 기반의 폐형 예측 규칙을 유도한다.
• 함수 클래스의 작은 구역 내에서 위험을 제어하기 위해 덕리 타입의 엔트로피 적분 경계를 적용한다.
• 순차적 예측 프레임워크에 적응된 메트릭 엔트로피 및 경험 커버링 추론을 사용한다.

실험 결과

연구 질문

• RQ1 임의의 함수 클래스에 대해 온라인 비모수적 회귀의 최적 위험률은 무엇인가?
• RQ2 순차적 엔트로피와 경험 엔트로피는 온라인 위험률을 결정하는 데 어떻게 관련되는가?
• RQ3 유사한 복잡도 조건 하에서 온라인 학습의 위험률이 i.i.d. 통계적 학습의 위험률과 일치할 수 있는가?
• RQ4 제곱 손실에 대해 최소최대 위험률을 특성화하는 데 순차적 커버링 수가 어떤 역할을 하는가?
• RQ5 최적의 위험률을 달성하는 일반적이고 계산적으로 효율적인 알고리즘이 존재하는가?

주요 결과

• 온라인 비모수적 회귀의 최소최대 위험률은 순차적 엔트로피의 $O(\beta^{-p})$ 행동에 의해 결정되는 단계 전이를 보인다: $p \in (0,2]$ 에서는 $n^{-\frac{2}{2+p}}$, $p \geq 2$ 에서는 $n^{-1/p}$.
• 하한값이 상한값과 로그 인자 이내로 일치하여 유도된 속도의 최적성 확인.
• 순차적 엔트로피와 i.i.d. 경험 엔트로피가 일치할 경우, 온라인 회귀와 제곱 손실을 가진 통계적 학습의 위험률은 로그 인자 이내로 동일하다.
• 순차적 엔트로피와 국소 최대 최소 전략을 기반으로 한 일반적인 예측기가 최적의 위험률을 달성한다.
• 제안된 알고리즘은 계산적으로 효율적이며 기존의 유한 전문가 및 온라인 선형 회귀 방법을 일반화한다.
• 완화 기법을 통해 허용 가능성 보장이 이루어지고, 폐형 예측 규칙이 클리핑된 Vovk-Azoury-Warmuth 예측기와 일치한다.