[论文解读] Sign rank versus VC dimension

Noga Alon, Shay Moran+1 more|arXiv (Cornell University)|Mar 26, 2015

Complexity and Algorithms in Graphs参考文献 54被引用 5

一句话总结

该论文通过概率构造和谱方法，建立了给定 VC 维数 $d$ 的 $N \times N$ 符号矩阵的最大符号秩的紧致界，证明当 $d=2$ 时其为 $\tilde{\Theta}(N^{1/2})$，当 $d>2$ 时为 $O(N^{1-1/d})$。该研究解决了学习理论与通信复杂性中的开放问题，并提出了一个 $O(N/\log N)$-近似算法用于符号秩计算。

ABSTRACT

This work studies the maximum possible sign rank of $N imes N$ sign matrices with a given VC dimension $d$. For $d=1$, this maximum is {three}. For $d=2$, this maximum is $ ildeΘ(N^{1/2})$. For $d >2$, similar but slightly less accurate statements hold. {The lower bounds improve over previous ones by Ben-David et al., and the upper bounds are novel.} The lower bounds are obtained by probabilistic constructions, using a theorem of Warren in real algebraic topology. The upper bounds are obtained using a result of Welzl about spanning trees with low stabbing number, and using the moment curve. The upper bound technique is also used to: (i) provide estimates on the number of classes of a given VC dimension, and the number of maximum classes of a given VC dimension -- answering a question of Frankl from '89, and (ii) design an efficient algorithm that provides an $O(N/\log(N))$ multiplicative approximation for the sign rank. We also observe a general connection between sign rank and spectral gaps which is based on Forster's argument. Consider the $N imes N$ adjacency matrix of a $Δ$ regular graph with a second eigenvalue of absolute value $λ$ and $Δ\leq N/2$. We show that the sign rank of the signed version of this matrix is at least $Δ/λ$. We use this connection to prove the existence of a maximum class $C\subseteq\{\pm 1\}^N$ with VC dimension $2$ and sign rank $ ildeΘ(N^{1/2})$. This answers a question of Ben-David et al.~regarding the sign rank of large VC classes. We also describe limitations of this approach, in the spirit of the Alon-Boppana theorem. We further describe connections to communication complexity, geometry, learning theory, and combinatorics.

研究动机与目标

• 确定给定 VC 维数 $d$ 的 $N \times N$ 符号矩阵的最大可能符号秩。
• 解决关于最大类和高 VC 维数类的符号秩的开放问题。
• 设计一种高效的符号秩计算近似算法。
• 建立符号秩、谱间隙与组合结构（如矩曲线和生成树）之间的联系。
• 提供具有高符号秩和低 VC 维数的显式矩阵构造，改进了先前的下界。

提出的方法

• 利用实代数拓扑中的 Warren 定理，构造具有高符号秩和受控 VC 维数的随机符号矩阵。
• 应用 Welzl 关于低穿透数生成树的结果，通过几何嵌入推导符号秩的上界。
• 利用矩曲线构造显式矩阵，其符号秩达到上界（仅相差对数因子）。
• 运用 Forster 的论证方法，将符号秩与正则图的谱间隙联系起来，证明其符号邻接矩阵的符号秩下界为 $\Delta / \lambda$。
• 设计一种时间复杂度为多项式时间的 $O(N/\log N)$-近似算法，用于符号秩计算，基于上界技术。
• 应用 Shearer 引理与二分图投影，统计 $U(d+1)$-自由图与 VC 类，回答了 Frankl 的问题。

实验结果

研究问题

• RQ1 对于 VC 维数 $d=2$ 的 $N \times N$ 符号矩阵，其最大可能符号秩是多少？
• RQ2 显式构造能否实现 $\tilde{\Theta}(N^{1/2})$ 的符号秩（当 $d=2$ 时）和 $O(N^{1-1/d})$ 的符号秩（当 $d>2$ 时）？
• RQ3 VC 维数为 2 的最大类的符号秩是否被 $\tilde{\Theta}(N^{1/2})$ 所限制？
• RQ4 正则图的谱间隙能否用于下界估计其符号邻接矩阵的符号秩？
• RQ5 给定矩阵的符号秩计算的复杂度是多少？能否实现非平凡的近似？

主要发现

• 当 $d=2$ 时，$N \times N$ 符号矩阵的最大符号秩为 $\tilde{\Theta}(N^{1/2})$，与上界仅相差对数因子。
• 当 $d>2$ 时，最大符号秩至多为 $O(N^{1-1/d})$，且该界在对数因子范围内是紧致的。
• VC 维数为 $d$ 的最大类的数量至少为 $N^{(1+o(1)){N \choose d}/(d+1)}$，解决了 Frankl 于 1989 年提出的问题。
• 基于上界技术，构造了一种高效的 $O(N/\log N)$-乘法近似算法用于符号秩计算。
• 对于第二特征值为 $\lambda$ 的 $\Delta$-正则图，其符号邻接矩阵的符号秩至少为 $\Delta / \lambda$，建立了谱下界。
• 本文证明了存在一个最大类 $C \subseteq \{\pm 1\}^N$，其 VC 维数为 2，且符号秩为 $\tilde{\Theta}(N^{1/2})$，回答了 Ben-David 等人提出的问题。