[論文レビュー] A Bernstein-type Inequality for Some Mixing Processes and Dynamical Systems with an Application to Learning

Hanyuan Hang, Ingo Steinwart|arXiv (Cornell University)|Jan 13, 2015

Control Systems and Identification参考文献 35被引用数 7

ひとこと要約

本稿は、$φ$-混合、$;tilde{φ}$-混合、および特定の力学系を含む幾何的${\cal C}$-混合過程に対するベルンシュタイン型不等式を確立する。これは、対数因子と定数を除けば、i.i.d. データの集中行動と一致することを示している。この不等式を用いて、正則化された経験的リスク最小化のためのオラクル不等式が導出され、ガウスカーネルを用いたサポートベクターマシンが、${\cal C}$-混合仮定のもとで、i.i.d. 時の最適レートにほぼ一致する学習レートを達成することが示された。

ABSTRACT

We establish a Bernstein-type inequality for a class of stochastic processes that include the classical geometrically $ϕ$-mixing processes, Rio's generalization of these processes, as well as many time-discrete dynamical systems. Modulo a logarithmic factor and some constants, our Bernstein-type inequality coincides with the classical Bernstein inequality for i.i.d.~data. We further use this new Bernstein-type inequality to derive an oracle inequality for generic regularized empirical risk minimization algorithms and data generated by such processes. Applying this oracle inequality to support vector machines using the Gaussian kernels for both least squares and quantile regression, it turns out that the resulting learning rates match, up to some arbitrarily small extra term in the exponent, the optimal rates for i.i.d.~processes.

研究の動機と目的

• i.i.d. データを超える一般の確率過程への集中不等式の拡張、特に混合過程および力学系を含む。
• $φ$-混合や$;tilde{φ}$-混合を一般化する幾何的${\cal C}$-混合過程に対するベルンシュタイン型不等式の構築。
• 新しい不等式を用いて、正則化された経験的リスク最小化アルゴリズムのためのオラクル不等式を導出すること。
• ${\cal C}$-混合データのもとでのガウスカーネルを用いたサポートベクターマシンの学習レートを確立し、i.i.d. 時の最適レートに対数因子まで一致させること。
• 未知の力学系の予測問題への分析の拡張、非漸近的保証を含む。

提案手法

• 著者らは、既存の混合概念を一般化し、多くの離散時間力学系を含む幾何的${\cal C}$-混合過程を定義・分析する。
• これらの過程に対して、古典的なi.i.d. ベルンシュタイン不等式と対数因子および定数を除いて一致するベルンシュタイン型集中不等式を確立する。
• 証明技法は、${\cal C}$-混合過程における相関の減衰に適応したモーメント不等式およびチェインジングの手法を活用する。
• 新しい不等式を用いて、${\cal C}$-混合のもとでの一般的な正則化された経験的リスク最小化スキームのためのオラクル不等式を導出する。
• ガウスカーネルを用いたSVMに対して、正則化パラメータを最適化し、任意の$\xi > 0$に対して、$n^{-\frac{2t}{2t+d} + \xi}$のオーダーの学習レートを達成する。これはi.i.d. 時の最適レートと一致する。
• 未知の力学系の予測問題に対しても、オラクル不等式をさらに導出し、非漸近的学習レート解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非混合力学系を含み、$φ$-混合を一般化する確率過程のクラスに対してベルンシュタイン型不等式を確立できるか？
• RQ2 ${\cal C}$-混合過程の集中行動は、i.i.d. データとどの程度類似しているか？
• RQ3 新しい集中不等式を用いて、${\cal C}$-混合のもとでの正則化学習アルゴリズムの学習レートを導出できるか？
• RQ4 ${\cal C}$-混合過程から生成されたデータのもとで、ガウスカーネルを用いたSVMが最適な学習レートを達成できるか？
• RQ5 この枠組みを、非漸近的保証を伴う未知の力学系の予測問題へ拡張できるか？

主な発見

• 幾何的${\cal C}$-混合過程に対するベルンシュタイン型不等式は、対数因子および定数を除けば、古典的なi.i.d. ベルンシュタイン不等式と一致する。
• 新しい不等式により、${\cal C}$-混合のもとでの正則化された経験的リスク最小化のためのオラクル不等式が導出可能であり、i.i.d. や$\alpha$-混合設定からの結果を一般化する。
• ガウスカーネルSVMを用いた最小二乗法および分位数回帰において、指数部に任意に小さい余分な項を加えた場合、最適なi.i.d. レートと一致する学習レートが達成される。
• LS-SVMの学習レートは、任意の$\xi > 0$に対して$n^{-\frac{2t}{2t+d} + \xi}$であり、これは本質的に最適であり、i.i.d. レートと一致する。
• 未知の力学系の予測問題に対してもオラクル不等式が確立され、従来の漸近的解析から非漸近的学習レートへ拡張された。
• 結果は、$\lambda_n \sigma_n^2 \geq n^{-2}$という条件のもとで成り立つ。これは、$t \geq 1$のとき、最適選択$\lambda_n = n^{-1}$、$\sigma_n = n^{-\frac{1}{2t+d}}$によって満たされる。