[論文レビュー] The Gap Dimension and Uniform Laws of Large Numbers for Ergodic Processes

Terrence Adams, Andrew B. Nobel|arXiv (Cornell University)|Jul 17, 2010

Machine Learning and Algorithms参考文献 15被引用数 6

ひとこと要約

本稿は、関数族の組合せ的複雑度を測る指標であるギャップ次元と、エルゴディックなサンプリングにおける標本平均の一様収束との間の関係を確立する。もし一様有界で可算な関数族Fのギャップ次元が解像度γで有限であれば、任意のエルゴディック過程において、その標本平均の漸近的乖離は10γ以下であることが示され、混合性や滑らかさの仮定を一切要せず、一様大数の法則の挙動が保証される。

ABSTRACT

Let F be a family of Borel measurable functions on a complete separable metric space. The gap (or fat-shattering) dimension of F is a combinatorial quantity that measures the extent to which functions f in F can separate finite sets of points at a predefined resolution gamma > 0. We establish a connection between the gap dimension of F and the uniform convergence of its sample averages under ergodic sampling. In particular, we show that if the gap dimension of F at resolution gamma > 0 is finite, then for every ergodic process the sample averages of functions in F are eventually within 10 gamma of their limiting expectations uniformly over the class F. If the gap dimension of F is finite for every resolution gamma > 0 then the sample averages of functions in F converge uniformly to their limiting expectations. We assume only that F is uniformly bounded and countable (or countably approximable). No smoothness conditions are placed on F, and no assumptions beyond ergodicity are placed on the sampling processes. Our results extend existing work for i.i.d. processes.

研究の動機と目的

• 関数族の組合せ的複雑度をそのギャップ次元で測る方法と、エルゴディックなサンプリングにおける標本平均の一様収束との間の関係を確立すること。
• i.i.d.過程に限らない一般の定常エルゴディック過程へ、一様大数の法則の結果を拡張すること。
• 混合性や滑らかさ、i.i.d.サンプリングの仮定を排除しながらも、一様収束の保証を維持すること。
• ギャップ次元を解像度γの関数として、漸近的乖離の鋭い定量的評価を与えること。
• i.i.d.過程に対する既存の結果を、最小限の構造的仮定のもとで、より広いクラスのエルゴディック過程へ一般化すること。

提案手法

• 関数族F内の関数が有限点集合をどれだけ細かく分離できるかを測る、解像度γにおけるギャップ次元を導入する。
• キングマンの部分加法的エルゴディック定理を用いて、標本平均と期待値とのsupremum偏差のほとんど確実な極限として、漸近的乖離Γ(F:X)を定義する。
• 可測分割とデイディック区間の構造に基づく組合せ的議論を用いて、有限ギャップ次元が有界な乖離にどのように関連するかを示す。
• 測度論的近似技術を用いて、可測同相写像と単純関数近似を介して、非可算族を可算族に還元する。
• 有限ギャップ次元が解像度γで成り立つことは、いかなる有限集合に対してもγ-シャッタリングが有界なサイズを超えては起こり得ないことを意味し、これにより標本平均の振動が制限されることを活用する。
• 背理法を用いる：乖離がηを超えるならば、すべての解像度γ ≤ η/10においてギャップ次元は無限大でなければならない。これにより主定理が導かれる。

実験結果

リサーチクエスチョン

• RQ1 関数族Fに対して、どのような条件下でエルゴディック過程において一様大数の法則が成り立つか。
• RQ2 関数族Fの解像度γにおけるギャップ次元は、エルゴディックなサンプリング下での標本平均の漸近的乖離とどのように関係するか。
• RQ3 Fの混合性や滑らかさの仮定を一切設けずに、エルゴディック過程においても一様収束を保証できるか。
• RQ4 有限ギャップ次元と漸近的乖離の上界との間の鋭い定量的関係は何か。
• RQ5 任意の解像度γにおいてギャップ次元が有限でない場合、あるエルゴディック過程において一様収束が失敗するか。

主な発見

• 関数族Fの解像度γにおけるギャップ次元が有限であれば、任意のエルゴディック過程において、Fの漸近的乖離は10γ以下である。
• 関数族Fのギャップ次元がすべてのγ > 0で有限であれば、漸近的乖離は0である。これは、標本平均が期待値に一様収束することを意味する。
• 証明のわずかな修正により、定数10を任意のε > 0に対して4 + εに改善可能である。
• 結果は最小限の仮定のもとで成り立つ：Fは一様有界で可算（または可算近似可能）であり、過程は単に定常かつエルゴディックである。
• Fやサンプリング過程に滑らかさや混合性の仮定は一切必要ない。
• 証明技法は可測近似を介して非可算族へも拡張可能であり、重要な乖離の上限は保たれる。