[논문 리뷰] Fast rates in learning with dependent observations

Pierre Alquier, Olivier Wintenberger|arXiv (Cornell University)|2012. 02. 20.

Machine Learning and Algorithms참고 문헌 33인용 수 5

한 줄 요약

이 논문은 $\phi$-혼합 조건 하에, 종속적인 시간열 자료를 사용한 통계학적 학습에서 PAC-베이지안 방법을 활용하여 $1/n$ 수렴 속도를 확립한다. 최소 제곱 손실의 경우, 지수 가중 평균과 혼합 과정에 대한 집중 부등식을 활용함으로써, 관측치가 약한 의존성을 보일지라도, i.i.d. 설정과 유사한 최적의 수렴 속도를 얻는 깁스 추정기(Gibbs estimator)를 제시한다.

ABSTRACT

In this paper we tackle the problem of fast rates in time series forecasting from a statistical learning perspective. In a serie of papers (e.g. Meir 2000, Modha and Masry 1998, Alquier and Wintenberger 2012) it is shown that the main tools used in learning theory with iid observations can be extended to the prediction of time series. The main message of these papers is that, given a family of predictors, we are able to build a new predictor that predicts the series as well as the best predictor in the family, up to a remainder of order $1/\sqrt{n}$. It is known that this rate cannot be improved in general. In this paper, we show that in the particular case of the least square loss, and under a strong assumption on the time series (phi-mixing) the remainder is actually of order $1/n$. Thus, the optimal rate for iid variables, see e.g. Tsybakov 2003, and individual sequences, see \cite{lugosi} is, for the first time, achieved for uniformly mixing processes. We also show that our method is optimal for aggregating sparse linear combinations of predictors.

연구 동기 및 목표

• 독립적 동일분포(i.i.d.) 및 개별 시계열 설정에서의 빠른 수렴 결과를 통계학적 학습 프레임워크 내에서 종속적인 시간열 자료로 확장하기 위해.
• 기존의 약한 의존성 자료에서 일반적으로 $1/\sqrt{n}$ 수준의 수렴 속도를 보이는 데 반해, 더 빠른 $1/n$ 수렴 속도가 달성 가능한 조건을 규명하기 위해.
• 강한 의존성 조건 하에서도 주어진 가족 내 최고의 예측기와 동일한 성능을 보이는 예측 절차를 개발하기 위해.
• 혼합 과정 맥락에서 지수 가중 평균 집합(깁스 추정기)의 이론적 근거를 제공하기 위해.
• 약한 의존성 조건 하에서 예측 변수의 희소 선형 조합을 집계하는 데 있어 방법의 최적성 입증하기 위해.

제안 방법

• 예측 절차로 PAC-베이지안 이론에서 유도된 깁스 추정기(예측 변수의 지수 가중 평균)를 사용한다.
• 예측 변수 공간에 대한 사전 분포를 사용하고, 온도 매개변수 $\lambda$ 를 통해 가중치를 조절하는 PAC-베이지안 경계를 적용한다.
• 샘슨(Samson, 2002)의 $\phi$-혼합 과정에 대한 집중 부등식을 활용하여 예측 위험의 라플라스 변환을 제어한다.
• 시간열 자료에 대해 $\phi$-혼합 조건을 도입하여 강한 혼합성을 확보함으로써, 빠른 수렴 분석이 가능하도록 한다.
• 예측 위험이 최고의 예측기의 위험에 더해 $1/n$ 순서의 나머지 항을 갖는 오라클 부등식을 유도한다.
• 고차원 또는 모델 선택 설정에서 깁스 추정기의 실용적 구현을 위해 MCMC 방법(특히 RJMCMC)을 사용한다.

실험 결과

연구 질문

• RQ1 독립적 동일분포(i.i.d.) 및 개별 시계열 설정과 마찬가지로 종속적인 시간열 자료에서 통계학적 학습에서 $1/n$ 수렴 속도를 달성할 수 있는가?
• RQ2 어떤 종류의 의존성 조건(예: 혼합 조건) 하에서 깁스 추정기는 최소 제곱 손실에 대해 빠른 수렴 속도를 달성하는가?
• RQ3 약한 의존성 조건 하에서 예측 변수의 희소 선형 조합을 집계하는 데 있어 지수 가중 평균 집합(Gibbs 추정기)이 최적인가?
• RQ4 의존적인 자료가 존재하는 AR 모델에서 깁스 추정기의 성능은 AIC와 같은 전통적 방법과 비교해 어떻게 되는가?
• RQ5 깁스 추정기의 온도 매개변수 $\lambda$ 는 어떤 역할을 하는가? 그리고 혼합 과정에 대해 실무에서 어떻게 校정(calibrate)해야 하는가?

주요 결과

• $\phi$-혼합 조건 하에, 깁스 추정기는 최소 제곱 손실에 대해 $1/n$ 순서의 빠른 수렴 속도를 달성하며, 이는 i.i.d. 및 개별 시계열 설정에서의 최적 수렴 속도와 일치한다.
• 오라클 부등식의 나머지 항은 $O(1/n)$ 이며, 이는 약한 의존성 과정에서 일반적으로 관찰되는 표준 $O(1/\sqrt{n})$ 수렴 속도보다 엄밀히 우수하다.
• 희소 설정에서의 빠른 수렴 속도를 통해, 이 방법이 희소 선형 조합의 예측 변수 집합에 대해 최적임을 입증한다.
• 샘슨(2002)의 집중 부등식을 활용한 $\phi$-혼합 과정에 적응된 PAC-베이지안 경계를 통해 이론적 근거를 제공한다.
• 시뮬레이션 결과, $\lambda = n / \hat{\mathrm{var}}(X)$ 라는 히우리스틱 캘리브레이션 방법이 AR 및 MA 모델에서 양호한 경험적 성능을 보였다.
• 혼합 계수의 지수적 감쇠 조건을 만족하는 경우, 이 방법은 AR($p$), MA($q$), 그리고 일부 비선형 GARCH 유형 모델을 포함한 광범위한 $\phi$-혼합 과정에 적용 가능하다.