[論文レビュー] Rademacher complexity of stationary sequences

Daniel J. McDonald, Cosma Rohilla Shalizi|arXiv (Cornell University)|Jun 3, 2011

Advanced Bandit Algorithms Research参考文献 11被引用数 9

ひとこと要約

本稿は、混合条件を仮定しないで、定常時系列へのラデマッハ複雑度の拡張を試み、逐次的複雑度ではなく標準的な期待ラデマッハ複雑度を用いることで、一般化誤差の境界を導出する。予測リスクのより緊密で完全に計算可能な経験的境界が得られ、定常性のもとで経験的リスク最小化による実用的モデル選択が可能になる。

ABSTRACT

We show how to control the generalization error of time series models wherein past values of the outcome are used to predict future values. The results are based on a generalization of standard i.i.d. concentration inequalities to dependent data without the mixing assumptions common in the time series setting. Our proof and the result are simpler than previous analyses with dependent data or stochastic adversaries which use sequential Rademacher complexities rather than the expected Rademacher complexity for i.i.d. processes. We also derive empirical Rademacher results without mixing assumptions resulting in fully calculable upper bounds.

研究の動機と目的

• ラデマッハ複雑度を用いて時系列予測モデルの一般化誤差を制御すること。
• 混合条件を要しない従属的で定常な系列へのi.i.d. ラデマッハ複雑度理論の拡張。
• データから完全に計算可能な経験的ラデマッハ複雑度境界を導出することにより、検証不能な仮定に依存しないこと。
• 逐次的複雑度や敵対的解析を避けることで、時系列予測の既存の境界を単純化および緊密化すること。

提案手法

• モデルクラスの柔軟性の尺度として、定常時系列に適応した標準的な期待ラデマッハ複雑度を用いる。
• 非混合的従属データに対する濃度不等式を適用して、予測リスクを境界化する。
• 混合係数に依存しない、データ駆動型推定を用いて経験的ラデマッハ複雑度境界を導出する。
• オンライン学習の技術（Rakhlinら）を活用するが、定常性を活かして逐次的複雑度を避けることで簡素化する。
• 経験的リスクと経験的ラデマッハ複雑度の和に基づいて予測子を選択する汎用的なERMアルゴリズムを提案する。
• リプシッツ制約およびノルム制約下での2層ニューラルネットワークやカーネル法に対して、閉形式の境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 混合条件を仮定しない定常時系列において、標準的なラデマッハ複雑度を用いて予測リスクを境界化できるか？
• RQ2 従属的時系列における経験的ラデマッハ複雑度は、どのように計算され、モデル選択に利用できるか？
• RQ3 時系列予測において、逐次的複雑度ではなく期待ラデマッハ複雑度を用いる場合の意味は何か？
• RQ4 混合条件や被覆数に依存する先行研究と比較して、得られた境界はタイトさと計算可能性の点でどのように異なるか？
• RQ5 理論的に妥当でありながら、計算的に実行可能である実用的アルゴリズムを、これらの境界から導出できるか？

主な発見

• 本稿では、混合条件を仮定しない定常性のもとで、標準的な期待ラデマッハ複雑度を用いた一般化誤差境界を導出する。
• 逐次的ラデマッハ複雑度や敵対的解析を用いた先行研究と比較して、導出された境界はよりタイトで単純である。
• 経験的ラデマッハ複雑度はデータから完全に計算可能であり、定常性のもとで経験的リスク最小化による実用的モデル選択が可能になる。
• 1リプシッツ連続活性化関数と有界重みをもつ2層ニューラルネットワークに対して、経験的ラデマッハ複雑度は $ O_{\mathbb{P}}(n^{-1/2}) $ で有界である。
• M-リプシッツ損失関数と特徴空間における有界ノルムをもつ正則化カーネル法に対して、経験的ラデマッハ複雑度は $ O_{\mathbb{P}}(n^{-1/2}) $ である。
• 経験的リスクと経験的ラデマッハ複雑度の和に基づく汎用的なERMアルゴリズムを提案し、完全に計算可能な一般化誤差境界を提供する。