[論文レビュー] Fast rates in learning with dependent observations

Pierre Alquier, Olivier Wintenberger|arXiv (Cornell University)|Feb 20, 2012

Machine Learning and Algorithms参考文献 33被引用数 5

ひとこと要約

この論文は、$φ$-mixing仮定の下で、PAC-Bayesian手法を用いて、従属する時系列データにおける統計的学習の高速収束レート $1/n$ を確立している。最小二乗損失に対しては、指数的重み付けと混合過程における集中不等式を活用することで、観測値が弱く従属していても、i.i.d.設定と同等の最適なレートを達成するギブズ推定量が得られることを示している。

ABSTRACT

In this paper we tackle the problem of fast rates in time series forecasting from a statistical learning perspective. In a serie of papers (e.g. Meir 2000, Modha and Masry 1998, Alquier and Wintenberger 2012) it is shown that the main tools used in learning theory with iid observations can be extended to the prediction of time series. The main message of these papers is that, given a family of predictors, we are able to build a new predictor that predicts the series as well as the best predictor in the family, up to a remainder of order $1/\sqrt{n}$. It is known that this rate cannot be improved in general. In this paper, we show that in the particular case of the least square loss, and under a strong assumption on the time series (phi-mixing) the remainder is actually of order $1/n$. Thus, the optimal rate for iid variables, see e.g. Tsybakov 2003, and individual sequences, see \cite{lugosi} is, for the first time, achieved for uniformly mixing processes. We also show that our method is optimal for aggregating sparse linear combinations of predictors.

研究の動機と目的

• i.i.d.および個別系列設定における高速レート結果を、統計的学習フレームワークにおける従属する時系列に拡張すること。
• 標準的なレートが通常 $1/\sqrt{n}$ である依存データにおける収束速度のギャップを埋めるために、より速い $1/n$ レートが達成可能な条件を同定すること。
• 強い依存性が存在しても、与えられた族の中で最良の予測子と同等の性能を示す予測手順を開発すること。
• 混合過程の文脈において、指数的重み付き集約（ギブズ推定量）の理論的裏付けを提供すること。
• 弱い依存性下でのスパースな線形予測子の組み合わせの集約における、この手法の最適性を示すこと。

提案手法

• 予測手順として、PAC-Bayesian理論から導かれるギブズ推定量（予測子の指数的重み付き平均）を用いる。
• 予測子空間上の事前分布を用いたPAC-Bayesian境界を適用し、重み付けを制御する温度パrameter $\lambda$ を導入する。
• サムソン（2002）による $\phi$-混合過程のための集中不等式を用いて、予測リスクのラプラス変換を制御する。
• 時系列に $\phi$-混合条件を課すことにより、強い混合性を確保し、高速レート解析を可能にする。
• 最良の予測子のリスクに $1/n$ 階の余剰項が加わるようなオラクル不等式を導出する。
• 高次元またはモデル選択の設定におけるギブズ推定量の実装のため、MCMC手法（特にRJMCMC）を用いる。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.および個別系列設定と同様に、従属する時系列における統計的学習で、高速な $1/n$ 収束レートが達成可能か。
• RQ2 ギブズ推定量が最小二乗損失に対して高速レートを達成するための依存性仮定（例：混合）は何か。
• RQ3 弱い依存性下でも、指数的重み付き集約（ギブズ推定量）がスパースな線形予測子の組み合わせに対して最適か。
• RQ4 古典的手法（例：AIC）と比較して、依存データにおけるARモデルにおけるギブズ推定量の性能はいかが。
• RQ5 ギブズ推定量における温度パrameter $\lambda$ の役割は何か。また、混合過程において実用的にどのようにキャリブレーションすべきか。

主な発見

• $φ$-混合仮定の下で、ギブズ推定量は最小二乗損失に対して $1/n$ 階の高速収束レートを達成し、i.i.d.および個別系列設定における最適レートと一致する。
• オラクル不等式の余剰項は $O(1/n)$ であり、これは弱い依存性を持つ過程における標準的な $O(1/\sqrt{n})$ レートよりも厳密に優れている。
• スパースな設定においても、スパースな線形予測子の組み合わせの集約に対して最適であることが、高速レートによって示された。
• サムソン（2002）の集中不等式を用いた、$φ$-混合過程に適応したPAC-Bayesian境界により理論的裏付けが与えられた。
• シミュレーションでは、ヒューリスティックなキャリブレーション $\lambda = n / \hat{\mathrm{var}}(X)$ が、ARおよびMAモデルにおいて良好な経験的性能を示した。
• 混合係数が指数的に減少する限り、AR($p$)、MA($q$)、および特定の非線形GARCH型モデルを含む広範な $φ$-混合過程クラスに適用可能である。