[論文レビュー] Sign rank versus VC dimension

Noga Alon, Shay Moran+1 more|arXiv (Cornell University)|Mar 26, 2015

Complexity and Algorithms in Graphs参考文献 54被引用数 5

ひとこと要約

本稿は、与えられたVC次元 $d$ を持つ $N \times N$ の符号行列の最大符号ランクについて、タイトな境界を確立する。$d=2$ の場合、符号ランクは $\tilde{\Theta}(N^{1/2})$ であり、$d>2$ の場合、$O(N^{1-1/d})$ である。確率的構成とスペクトル技法を用いて得られた。これは学習理論と通信複雑性における未解決の問題を解消し、符号ランク計算の $O(N/\log N)$-近似アルゴリズムを提供する。

ABSTRACT

This work studies the maximum possible sign rank of $N imes N$ sign matrices with a given VC dimension $d$. For $d=1$, this maximum is {three}. For $d=2$, this maximum is $ ildeΘ(N^{1/2})$. For $d >2$, similar but slightly less accurate statements hold. {The lower bounds improve over previous ones by Ben-David et al., and the upper bounds are novel.} The lower bounds are obtained by probabilistic constructions, using a theorem of Warren in real algebraic topology. The upper bounds are obtained using a result of Welzl about spanning trees with low stabbing number, and using the moment curve. The upper bound technique is also used to: (i) provide estimates on the number of classes of a given VC dimension, and the number of maximum classes of a given VC dimension -- answering a question of Frankl from '89, and (ii) design an efficient algorithm that provides an $O(N/\log(N))$ multiplicative approximation for the sign rank. We also observe a general connection between sign rank and spectral gaps which is based on Forster's argument. Consider the $N imes N$ adjacency matrix of a $Δ$ regular graph with a second eigenvalue of absolute value $λ$ and $Δ\leq N/2$. We show that the sign rank of the signed version of this matrix is at least $Δ/λ$. We use this connection to prove the existence of a maximum class $C\subseteq\{\pm 1\}^N$ with VC dimension $2$ and sign rank $ ildeΘ(N^{1/2})$. This answers a question of Ben-David et al.~regarding the sign rank of large VC classes. We also describe limitations of this approach, in the spirit of the Alon-Boppana theorem. We further describe connections to communication complexity, geometry, learning theory, and combinatorics.

研究の動機と目的

• 与えられたVC次元 $d$ を持つ $N \times N$ の符号行列の最大符号ランクを特定すること。
• 最大クラスおよび大規模VC次元クラスの符号ランクに関する未解決問題を解消すること。
• 符号ランク計算のための効率的な近似アルゴリズムを開発すること。
• 符号ランク、スペクトルギャップ、およびモーメント曲線やスパニングツリーなどの組合せ構造との関係を確立すること。
• 高い符号ランクと低いVC次元を同時に持つ行列の明示的構成を提供し、既存の下界を改善すること。

提案手法

• 実代数的トポロジーの Warren の定理を用いて、高い符号ランクと制御されたVC次元を持つ確率的符号行列を構成する。
• Welzl のスパニングツリーにおける低刺突数に関する結果を応用し、幾何的埋め込みを通じて符号ランクの上界を導出する。
• モーメント曲線を用いて、上界の対数要因を除いて達成可能な明示的行列を構成する。
• Forster の議論を用いて、正則グラフにおける符号ランクとスペクトルギャップの関係を確立し、符号付き隣接行列の符号ランクに対して $\Delta / \lambda$ の下界を証明する。
• 上界の技法を応用して、多項式時間 $O(N/\log N)$-近似アルゴリズムを設計する。
• Shearer の補題と二部グラフの射影を用いて、$U(d+1)$-自由グラフおよびVCクラスを数え上げ、Frankl の問いに答える。

実験結果

リサーチクエスチョン

• RQ1 VC次元 $d=2$ の $N \times N$ 符号行列の最大符号ランクは何か？
• RQ2 明示的構成により、$d=2$ の場合 $\tilde{\Theta}(N^{1/2})$、$d>2$ の場合 $O(N^{1-1/d})$ の符号ランクを達成できるか？
• RQ3 VC次元 2 の最大クラスの符号ランクは $\tilde{\Theta}(N^{1/2})$ で有界であるか？
• RQ4 正則グラフのスペクトルギャップを用いて、その符号付き隣接行列の符号ランクを下界で評価できるか？
• RQ5 与えられた行列の符号ランクを計算する計算量の複雑性は何か？非自明な近似が達成可能か？

主な発見

• $d=2$ の場合、$N \times N$ 符号行列の最大符号ランクは $\tilde{\Theta}(N^{1/2})$ であり、対数要因を除いて上界と一致する。
• $d>2$ の場合、最大符号ランクは $O(N^{1-1/d})$ 以下であり、この境界は対数要因を除いてタイトである。
• VC次元 $d$ の最大クラスの数は、少なくとも $N^{(1+o(1)){N \choose d}/(d+1)}$ 個以上であり、1989 年に Frankl が提起した問いに答える。
• 上界の技法を用いて、符号ランクの $O(N/\log N)$-乗法的近似アルゴリズムを構築した。
• $\Delta$-正則グラフの符号付き隣接行列の符号ランクは、第二固有値が $\lambda$ であるとき、少なくとも $\Delta / \lambda$ 以上であり、スペクトル的下界を確立した。
• 本稿は、VC次元 2 で符号ランク $\tilde{\Theta}(N^{1/2})$ を持つ最大クラス $C \subseteq \{\pm 1\}^N$ の存在を証明し、Ben-David 他が提起した問いに答えた。