[論文レビュー] Improved Vapnik Cervonenkis bounds

Olivier Catoni|arXiv (Cornell University)|Oct 11, 2004

Gaussian Processes and Bayesian Inference参考文献 11被引用数 4

ひとこと要約

この論文は、任意のサイズのデータに依存するシャドウサンプルを用いる新しいPAC-Bayesian枠組みを導入することで、統計的学習理論におけるVapnik-Cervonenkis（VC）バウンドを改善した。これにより、対称化の必要がなくなり、分散項が低減される。主な貢献は、非同一分布データに対しても成り立つよりタイトな一般化バウンドであり、特に大きなシャドウサンプルでは定数が改善される。数値的に、N=10⁶およびh=10の場合にバウンドが0.2068未満であることが示された。

ABSTRACT

We give a new proof of VC bounds where we avoid the use of symmetrization and use a shadow sample of arbitrary size. We also improve on the variance term. This results in better constants, as shown on numerical examples. Moreover our bounds still hold for non identically distributed independent random variables. Keywords: Statistical learning theory, PAC-Bayesian theorems, VC dimension.

研究の動機と目的

• 対称化を回避し、任意のサイズのシャドウサンプルを用いることで、古典的VCバウンドを改善すること。
• 既存のPAC-Bayesianバウンドにおける分散項をタイトにし、任意のパラメータζの導入を不要にする。
• 非同一分布の独立確率変数へバウンドを拡張すること。
• 大きなシャドウサンプルを用いて、テスト誤差をトレーニング誤差の関数としてバウンドする、より良いトランスductiveバウンドを導出すること。
• 特に大きなシャドウサンプルの場合に、よりタイトな一般化誤差バウンドを数値的に示すこと。

提案手法

• トレーニングラベルのみが観測可能であるシャドウサンプルサイズkNを用いたトランスductive設定を導入する。
• 仮説空間の被覆ネット上におけるデータに依存する事前分布を用いたPAC-Bayesian不等式を適用する。
• トレーニング集合とテスト集合における仮説誤差の差を制御するため、ランダムな交換可能な距離ℓを用いる。
• 関数g(·)と標準正規分布の累積分布関数Φ(·)を含む分散項を用いて、r₂(θ)−r₁(θ)のバウンドを導出する。
• 解像度ξⱼを徐々に小さくする被覆ネットの系列について最適化することで、バウンド内のlog(N)項を排除する。
• 対数スケールの被覆ネットに対する和集合を用いて、log(N)の代わりにlog log(N)の項を含むバウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 対称化をデータに依存するシャドウサンプルに置き換えることで、VCバウンドを改善できるか？
• RQ2 ζのような任意のパラメータを導入せずに、既存のPAC-Bayesianバウンドにおける分散項を低減できるか？
• RQ3 非同一分布の独立確率変数に対しても、バウンドをタイトに保ったまま拡張できるか？
• RQ4 大きなシャドウサンプルを用いることで、トランスductive学習における一般化誤差バウンドが顕著に改善されるか？
• RQ5 適応的被覆ネット最適化により、バウンド内のlog(N)依存性をlog log(N)に置き換えられるか？

主な発見

• 提案されたバウンドは、分散項の低減とζパラメータの不要化により、古典的VCバウンドを改善している。
• N=10⁶、h=10、r₁(θ)=0.2、ε=0.005の場合、最適なk=257およびj=7を用いることで、バウンドは0.20672未満である。
• kが42から19,470の範囲にわたり、バウンドは0.2068未満を維持しており、大きなシャドウサンプルに対して強いロバストネスを示している。
• バウンドにおいてlog log(N)依存性がlog(N)に代わって達成されており、漸近的なタイトさが顕著に向上している。
• 非同一分布の独立確率変数に対してもバウンドが成り立つため、i.i.d.仮定を超えて適用範囲が広がっている。
• 数値結果から、特に経験的誤差が小さく、仮説の複雑さが高い場合に、既存のバウンドよりも一貫して改善されていることが示された。