[論文レビュー] VC bounds on the cardinality of nearly orthogonal function classes

Lee-Ad Gottlieb, Leonid+2 more|arXiv (Cornell University)|Jul 28, 2010

Machine Learning and Algorithms参考文献 22被引用数 4

ひとこと要約

本稿では、二項係数のエントロピーに基づく解析と新規の射影論法を用いて、\{−1,1\}^n 内のほぼ直交するベクトルの最大数に対するVC次元に基づく新たな上限を提示する。主な貢献は、近似的に直交する関数クラス（γ ≈ 0）のパッキング数に対するより緊密な上限を示し、ハウスラーの上限を著しく改善するとともに、k進アルファベットへの拡張を可能にした点である。

ABSTRACT

We bound the number of nearly orthogonal vectors with fixed VC-dimension over $\setpm^n$. Our bounds are of interest in machine learning and empirical process theory and improve previous bounds by Haussler. The bounds are based on a simple projection argument and the generalize to other product spaces. Along the way we derive tight bounds on the sum of binomial coefficients in terms of the entropy function.

研究の動機と目的

• VC次元 d とほぼ直交するベクトル（ε ≈ 1/2）をもつ関数クラスのパッキング数 M(ε,d) に対する既存の上限を改善すること。
• ハウスラーの上限における定数のギャップを、[1, 2e] の範囲にまで縮小するより単純な構成により、このギャップを閉じること。
• 一般化されたVC次元とエントロピーに基づく和の上限を用いて、2進アルファベットを超えてk進関数クラスへの解析を拡張すること。
• γ = 1−2ε = O(1/poly(n)) のとき、M(ε,d) が n の多項式で有界でないことを示し、この領域における多項式境界の否定的結果を解消すること。

提案手法

• 有界VC次元をもつ関数クラスにおけるε分離部分集合のサイズを制限するための射影論法を用いる。
• 二項係数の和 ∑_{i=0}^d \binom{n}{i} に対するエントロピーに基づく上限を適用し、テイラー展開と二項エントロピー関数の凹性を用いてタイトな上限を導出する。
• k進アルファベット向けに一般化されたエントロピーに基づく上限を導入：∑_{i=0}^d \binom{n}{i}k^i < 0.94 · 2^{nH(d/n) + d log k}。
• 新しい上限 M((1−γ)/2,d) ≤ 100 · 2^{dβ(γ)} を確立し、β(γ) はエントロピーとベクトルの直交性から導かれる関数である。
• 正規化されたハミング距離 ρ と内積 ⟨x,y⟩ の関係 2ρ(x,y) + ⟨x,y⟩ = 1 を用い、γ = 1−2ε を用いて直交性を再定式化する。
• 二項係数の集中と尾部上限を用いてエントロピーに基づく上限を導出し、テイラー展開を用いて明示的な定数を付与する。

実験結果

リサーチクエスチョン

• RQ1 ほぼ直交する関数クラス（ε ≈ 1/2）のパッキング数 M(ε,d) は、ハウスラーの上限よりもタイトに抑えられるか？
• RQ2 ε ≈ 1/2 の近傍で、log M(ε,d) の最適な漸近的成長率は d と ε の関数としてどのように振る舞うか？
• RQ3 ハウスラーの上限は、特に定数項のギャップ（1/2e から 2e の間）を改善できるか？
• RQ4 γ = 1−2ε = O(1/poly(n)) のとき、M(ε,d) は n の多項式で有界であるか？
• RQ5 2進アルファベットを超えて、一般化されたVC次元フレームワークを用いて、二項VC次元の上限をk進アルファベットに一般化できるか？

主な発見

• 本稿では、新しい上限 M((1−γ)/2,d) ≤ 100 · 2^{dβ(γ)} を確立し、これは小γに対して、dあたり (ln 2)β(γ) のオーダーで漸近的に成長し、ハウスラーの上限 ln(4e/(1−γ)) に比べて著しく改善されている。
• 小γのとき、新しい上限はハウスラーのものよりもdの指数関数的要因で改善され、対数的成長率の比は定数要因の改善に近づく。
• エントロピー関数の解析とテイラー展開を用いて、タイトな上限 ∑_{i=0}^d \binom{n}{i} < 0.98 · 2^{nH(d/n)} を導出している。
• k進アルファベットでは、上限 ∑_{i=0}^d \binom{n}{i}k^i < 0.94 · 2^{nH(d/n) + d log k} が確立され、一般化されたVC次元に基づく初めてのパッキング上限を提供している。
• 本稿では、γ = 1−2ε = O(1/poly(n)) のとき、M(ε,d) が n の多項式で有界でないことを証明し、この領域における多項式境界の否定的結果を解消している。
• ハウスラーの上限における定数ギャップを [1, 2e] の範囲に閉じるより単純な構成が提供されており、最近の結果と一致するが、より直接的な証明を提供している。