[論文レビュー] Conditional Risk Minimization for Stochastic Processes

A.M. Zimin, Christoph H. Lampert|arXiv (Cornell University)|Oct 9, 2015

Machine Learning and Algorithms参考文献 36被引用数 4

ひとこと要約

本稿では、依存するデータを有する確率過程における条件付きリスク最小化の非パrametricな経験的推定量を提案する。有限の履歴上でのカーネルベース推定を活用し、β-混合条件の下で推定量が真の条件付きリスクに一様収束することを確立した。これは、有限標本保証付きで一貫性を持つ条件付きリスク最小化のための最初のアルゴリズムである。

ABSTRACT

We study the task of learning from non-i.i.d. data. In particular, we aim at learning predictors that minimize the conditional risk for a stochastic process, i.e. the expected loss of the predictor on the next point conditioned on the set of training samples observed so far. For non-i.i.d. data, the training set contains information about the upcoming samples, so learning with respect to the conditional distribution can be expected to yield better predictors than one obtains from the classical setting of minimizing the marginal risk. Our main contribution is a practical estimator for the conditional risk based on the theory of non-parametric time-series prediction, and a finite sample concentration bound that establishes uniform convergence of the estimator to the true conditional risk under certain regularity assumptions on the process.

研究の動機と目的

• 標本間に依存関係が存在する非i.i.d.データ設定において、i.i.d.に基づく学習の限界を克服すること。
• マージナルリスクではなく、観測履歴を前提とした次のサンプルにおける予測子の期待損失として定義される条件付きリスクを最小化する実用的な推定量を開発すること。
• 確率過程にやや弱い正則性条件が課された下で、推定量の真の条件付きリスクへの一様収束を理論的に確立すること。
• 実際の観測履歴に適合した経験的リスク最小化を可能にし、逐次的かつ依存的なデータ設定における予測性能を向上させること。

提案手法

• 履歴長 $ d $ の有限履歴上でカーネル密度推定を用いた非パrametricな条件付きリスク推定量を提案する。重みは履歴サンプルにカーネル関数を適用することで決定される。
• 最新の $ d $ 個の観測値からなるスライディングウインドウを用いて条件付きリスクを計算し、推定量がプロセスの現在の状態に適応することを保証する。
• カーネル推定量の滑らかさを制御するバンド幅パラメータ $ b $ を導入し、実用的選択として交差検証を提案する。
• β-混合条件の下で、有限標本における集中不等式を導出し、経験的推定量が真の条件付きリスクに指数関数的レートで一様収束することを示す。
• 非パrametric時系列予測の理論を根拠として、推定量の一貫性と一様収束性を正当化する。
• 推定量の平均が真の期待値に一様収束するため、プロセスが十分に速い速度でβ-混合するよう仮定する。

実験結果

リサーチクエスチョン

• RQ1 依存するデータを有する確率過程において、条件付きリスク最小化のための一貫性を持つ経験的推定量を構築できるか？
• RQ2 弱いプロセスの仮定の下で、有限履歴における条件付きリスク推定量は真のリスクへの一様収束をどのように示すか？
• RQ3 経験的推定量が真の条件付きリスクに一様収束するレートは何か？ また、すべての履歴にわたって一様に成り立つ条件は何か？
• RQ4 逐次予測タスクにおいて、標準的な経験的リスク最小化（ERM）がマージナルリスクを最小化するのと比較して、提案手法はどのように異なるか？
• RQ5 履歴長 $ d $ とバンド幅 $ b $ を選ぶ際の計算的・統計的トレードオフは何か？ そして、実用的に最適化するにはどうすればよいか？

主な発見

• β-混合条件の下で、十分に速い崩壊レートを有する場合、提案された条件付きリスク推定量は真の条件付きリスクに指数関数的レートで一様収束する。
• 推定量は一貫性を有し、有限標本における集中不等式を提供するため、データが限られた場合でも信頼性の高い性能を発揮する。
• 数値シミュレーションにおいて、標準的なERMやスライディングウインドウのヒューリスティクスよりも優れた性能を示し、履歴長が十分に長い場合には顕著である。
• 理論的保証は、定常性または条件付き定常性、コンパクトサポートといったやや弱い仮定のもとで成り立つが、より一般的な設定への拡張も可能である。
• カーネルやバンド幅の選択に対してロバストであり、ハイパーパramータチューニングには交差検証が実用的戦略として特定された。
• 非パrametric手法に特有の次元の呪いを引き継ぐが、高次元設定では適切なカーネル選択によってこれを緩和できる。