[論文レビュー] VC dimension of ellipsoids

Yohji Akama, Kei Irie|arXiv (Cornell University)|Sep 20, 2011

Bayesian Methods and Mixture Models参考文献 6被引用数 9

ひとこと要約

本稿では、線形化の議論と凸幾何学を組み合わせることで、$d$-次元楕円体のクラスのVC次元が正確に$(d^2 + 3d)/2$ であることを確立している。さらに、$N$-成分の$d$-次元ガウス・ミックスチャネル・モデルのVC次元が少なくとも$N(d^2 + 3d)/2$ であることを示しており、統計的学習理論におけるモデル選択のためのタイトな下界を提供している。

ABSTRACT

We will establish that the VC dimension of the class of d-dimensional ellipsoids is (d^2+3d)/2, and that maximum likelihood estimate with N-component d-dimensional Gaussian mixture models induces a geometric class having VC dimension at least N(d^2+3d)/2. Keywords: VC dimension; finite dimensional ellipsoid; Gaussian mixture model

研究の動機と目的

• 学習理論における基本的な幾何的クラスである$d$-次元楕円体のクラスの正確なVC次元を特定すること。
• モデル選択に関連する、$N$-成分の$d$-次元ガウス・ミックスチャネル・モデル（GMM）のVC次元に対する下界を確立すること。
• ガウス・ミックスチャネル密度の等高線集合を捉えるクラス${\mathcal{D}}(({\mathcal{G}}_d)_N)$を通じて、楕円体のVC次元とガウス・ミックスチャネルの複雑さを結びつけること。
• VC次元がこれまでに漸近的または近似的にしか分かっていなかったクラスについて、厳密な正確値を提供すること。
• 多項式の上位集合のVC次元に対して、線形化および凸体の議論を適用して正確なVC次元の結果を導出する一般化可能性を拡張すること。

提案手法

• 次数2以下の単項式を用いて、$B = (d^2 + 3d)/2$次元の空間への埋め込みを提供する座標写像$\varphi: \mathbb{S}^{d-1} \to \mathbb{R}^B$ を用いる。
• 楕円体を定義する二次不等式を、変換空間における線形不等式に帰着させる線形化技術を適用する。
• 補題2を活用し、$\ell^\infty$-ノルムによる摂動に対するパラメータ空間における半空間の近傍が、超平面を張る集合をシャッタリングすることを示す。
• 十分に小さい$\varepsilon > 0$に対して、摂動された半空間が楕円体に対応することを証明し、VC次元の下界を確立する。
• 補題6を用いて、密度クラス$\mathcal{P}$ が平行移動不変性と急速減衰を満たす場合、$N$重の凸包$({\mathcal{P}})_N$ のVC次元が$N \times \mathrm{VCdim}({\mathcal{D}}(\mathcal{P}))$ 以上であることを示す。
• 楕円体クラスの下界とスケーリング性質を組み合わせることで、$N$-成分のGMMの下界$N(d^2 + 3d)/2$ を導出する。

実験結果

リサーチクエスチョン

• RQ1 $d$-次元楕円体のクラスのVC次元は正確にいくらか？
• RQ2 $N$-成分の$d$-次元ガウス・ミックスチャネル・モデルのVC次元は$N$と$d$ に対してどのようにスケーリングされるか？
• RQ3 幾何学的および凸解析的ツールを用いて、GMM密度の等高線集合のVC次元を下から抑えられるか？
• RQ4 パラメータ空間における線形化および摂動議論を、正確なVC次元値の導出にどの程度まで応用できるか？
• RQ5 有界次数の多項式の上位集合のクラスのVC次元は、同様の手法で抑えられるか？

主な発見

• $d$-次元楕円体のクラスのVC次元は正確に$(d^2 + 3d)/2$ である。
• この正確な値は、単位球面上のサイズ$(d^2 + 3d)/2$ の集合がパラメータ空間における楕円体の近傍によってシャッタリング可能であることを示すことによって確立されている。
• $N$-成分の$d$-次元ガウス・ミックスチャネル・モデルのVC次元の下界は$N(d^2 + 3d)/2$ である。
• この下界は、楕円体クラスにスケーリング性質（補題6）を適用することで導出されている。楕円体はガウス密度の等高線集合である。
• この結果により、GMMの複雑さが$N$に対して線形的、$d$ に対して二次的であることが確認され、正確な係数$(d^2 + 3d)/2$ が得られている。
• 線形化と凸幾何学を組み合わせた証明技法は、多項式上位集合によって定義される他のクラスに対しても一般化可能である。