[論文レビュー] Predictive PAC Learning and Process Decompositions

Cosma Rohilla Shalizi, Aryeh Kontorovich|arXiv (Cornell University)|Sep 19, 2013

Machine Learning and Algorithms参考文献 24被引用数 8

ひとこと要約

本稿は、観測履歴ではなく潜在的な混合成分に条件づけることで、従属的な確率過程に対する予測PAC学習フレームワークを導入し、個々の成分が従属的であっても、学習可能な過程の混合に対するきめ細かな一般化バウンドを可能にする。主な貢献は、最良の成分の誤差率に一致する新しい一般化バウンドの確立に加え、絶対的正則性（β-混合）過程の混合の特徴付けである。

ABSTRACT

We informally call a stochastic process learnable if it admits a generalization error approaching zero in probability for any concept class with finite VC-dimension (IID processes are the simplest example). A mixture of learnable processes need not be learnable itself, and certainly its generalization error need not decay at the same rate. In this paper, we argue that it is natural in predictive PAC to condition not on the past observations but on the mixture component of the sample path. This definition not only matches what a realistic learner might demand, but also allows us to sidestep several otherwise grave problems in learning from dependent data. In particular, we give a novel PAC generalization bound for mixtures of learnable processes with a generalization error that is not worse than that of each mixture component. We also provide a characterization of mixtures of absolutely regular ($β$-mixing) processes, of independent probability-theoretic interest.

研究の動機と目的

• 非i.i.d.データ、特に従属的な確率過程へのPAC学習の拡張に挑戦すること。
• 現実的な学習者の行動を反映するように学習を再定義すること。具体的には、観測された過去ではなく、潜在的な混合成分に注目すること。
• 学習可能な過程の混合に対する一般化バウンドを確立し、それが最良の成分のバウンドに劣らないこと。
• 絶対的正則性（β-混合）過程の混合を、一様な混合レート条件を用いて特徴付けること。
• 交換可能性やエルゴディック過程などの構造的で非i.i.i.d.な設定における予測PAC学習の理論的基盤を提供すること。

提案手法

• 観測データパスではなく、混合成分に条件づけることで、確率過程の学習可能性の新しい定義を提案する。
• エルゴディック分解とデ・フィネッティ型の表現を用いて、複雑な過程を極値的かつ単純な過程の混合としてモデル化する。
• 成分の性能に基づく誤差を制御する、新しい一般化バウンドを適用する。このバウンドは、成分のVC次元と混合性の性質を活用する。
• 成分の混合レートが一様に有界である$ ilde{eta}$-一様混合の絶対的正則性（MAR）過程の概念を導入する。
• 有限な過去に基づく未来の遠く離れた事象の条件付き確率に関する、二重極限条件を用いたこのような混合の特徴付けを導出する。
• 測度論的道具（後部確率の集中、エルゴディック分解など）を用いて、有限条件づけ下での未来の事象の漸近的独立性を分析する。

実験結果

リサーチクエスチョン

• RQ1 学習の条件づけの仕方を再定義することで、PAC学習を従属的で非i.i.d.な確率過程に意味的に拡張できるか？
• RQ2 学習可能な過程の混合は、最良の成分に劣らない一般化誤差バウンドを継承するか？
• RQ3 どのような条件下で定常過程が絶対的正則性（β-混合）過程の混合として特徴付けられるか？
• RQ4 観測履歴に条件づけるのではなく、混合成分に条件づけることで、予測性能がどのように向上するか？
• RQ5 混合における成分過程の混合性に基づいて、未来の事象の漸近的独立性をどのように特徴付けられるか？

主な発見

• 提案された予測PACフレームワークは、混合自体が標準的定義では学習可能でない場合であっても、学習可能な過程の混合に対して、最良の成分に劣らない一般化誤差バウンドを達成する。
• VC次元と成分過程の混合レートに依存する、新しい一般化バウンドが確立され、確率的収束を保証する。
• 本稿では、$ ilde{eta}$-一様混合の絶対的正則性過程の特徴付けを、二重極限条件を用いて行う：$\lim_{k\to\infty} \lim_{n\to\infty} \mathbb{E}\left[\sup_l \sup_{B\in\sigma(X_{k+l}^\infty)} \left| \rho(B|X_1^l,X_{-n}^0) - \rho(B|X_{-n}^0) \right| \right] = 0$。
• この条件により、過去が長くなるにつれて、広く離れた未来の事象間の依存性が、すべての成分に一様に消失することが保証され、β-混合過程の漸近的独立性を反映する。
• 従属データからの学習における重要な問題を解決する：意味のある一般化を得るためには、学習者が観測パスではなく、潜在的な成分に条件づける必要がある。
• 結果は、交換可能列やその他の構造的過程を、i.i.d.またはエルゴディック成分の混合として表現することで、自然に拡張可能である。