[論文レビュー] Estimated VC dimension for risk bounds

Daniel J. McDonald, Cosma Rohilla Shalizi+1 more|arXiv (Cornell University)|Nov 15, 2011

Neural Networks and Applications参考文献 7被引用数 6

ひとこと要約

本稿は、Vapnik ら（2010）のシミュレーションベース推定法を用いて推定されたVC次元の高確率的集中限界を確立し、真のVC次元が解析的に扱いにくい状況においても有効な一般化リスク境界を可能にする。主な貢献は、古典的VCリスク境界に推定VC次元を代入することを正当化する厳密な理論的枠組みを提供することであり、パターン認識における経験的リスク最小化の有限標本整合性を保証する。

ABSTRACT

Vapnik-Chervonenkis (VC) dimension is a fundamental measure of the generalization capacity of learning algorithms. However, apart from a few special cases, it is hard or impossible to calculate analytically. Vapnik et al. [10] proposed a technique for estimating the VC dimension empirically. While their approach behaves well in simulations, it could not be used to bound the generalization risk of classifiers, because there were no bounds for the estimation error of the VC dimension itself. We rectify this omission, providing high probability concentration results for the proposed estimator and deriving corresponding generalization bounds.

研究の動機と目的

• 経験的に推定されたVC次元を一般化リスク境界に用いる理論的裏付けの欠如を補うこと。
• Vapnik ら（2010）が提案したVC次元推定法に関する高確率的集中結果を提供すること。
• 真の未知の値ではなく推定VC次元に依存する有限標本リスク境界を導出すること。
• 真のVC次元が不明または扱いにくい実用的学習状況においてVCベースのリスク境界を適用可能にする。
• 推定誤差を確率論的に根拠づけることで、SVM やニューラルネットワークなどの複雑なモデルに古典的VC理論の適用範囲を拡張すること。

提案手法

• Vapnik ら（2010）のシミュレーションベースVC次元推定手順を用いて、関数族のVC次元を経験的に推定する。
• 経験過程理論を適用し、推定VC次元が真の値のまわりに高確率で集中することを示す限界を導出する。
• 標本サイズおよびモデルの複雑さにやや緩い条件下で、推定VC次元 $\widehat{h}$ が真の $h^*$ に高確率で集中することを確立する。
• 真のVC次元 $h^*$ を推定された $\widehat{h}$ に置き換えた一般化リスク境界を導出し、$\widehat{h}$ の集中性を用いて全体の誤差を制御する。
• チェーン法と対称化技術を用いて、推定VC次元を条件とした経験的リスクと真のリスクの乖離を上限付ける。
• 実際の訓練データと推定プロセスで使用されるシミュレートデータの統計的独立性を考慮するため、積測度枠組みを用いる。

実験結果

リサーチクエスチョン

• RQ1 推定誤差があるにもかかわらず、推定VC次元を一般化リスク境界に信頼して使用できるか？
• RQ2 推定VC次元が真のVC次元から著しく逸脱する確率はどの程度か？
• RQ3 推定VC次元の推定誤差を高確率で上限付けるにはどうすればよいか？
• RQ4 古典的VCリスク境界を推定VC次元に適応させつつ、有限標本整合性を保てるか？
• RQ5 経験的リスク最小化分類器の一般化リスクが推定VC次元を用いても有界のまま保たれるための条件は何か？

主な発見

• 適切な条件下で、推定VC次元 $\widehat{h}$ が真のVC次元 $h^*$ に高確率で集中し、$\mathbb{P}(|\widehat{h}-h^*|>\delta) \leq 13\exp\left\{-\frac{mk\delta^2}{16c_3}\right\}$ を満たす。
• 一般化リスク境界 $\mathbb{P}(\sup_f |R_n(f) - \widehat{R}_n(f)| > \rho)$ は、高確率で $4GF(\widehat{h}+\delta, 2n)\exp\{-n\rho^2\}$ に上限付けられる。ここで $GF$ は成長関数を表す。
• リスク乖離の上限は推定VC次元 $\widehat{h}$ に依存し、$\widehat{h}$ の集中性のおかげで、全体のリスク境界は有効かつきついままである。
• 適切なモーメント条件が満たされれば、有界でない損失関数を伴うモデルに対しても適用可能であり、VC理論を有界損失設定を超えて拡張する。
• 理論的枠組みにより、SVM やニューラルネットワークなどの複雑なモデルにおけるモデル選択および有限標本予測リスクの特徴付けが可能になる。
• 結果は、実務においてシミュレーションベースVC推定を用いることの正当性を裏付け、VC理論を現実の学習問題に適用するうえでの重要な理論的ギャップを埋めることを示している。