[논문 리뷰] Sign rank versus VC dimension

Noga Alon, Shay Moran외 1명|arXiv (Cornell University)|2015. 03. 26.

Complexity and Algorithms in Graphs참고 문헌 54인용 수 5

한 줄 요약

이 논문은 주어진 VC 차원 $d$를 가진 $N \times N$ 부호 행렬의 최대 부호 랭크에 대한 날카운 경계를 확립한다. $d=2$인 경우 부호 랭크는 $\tilde{\Theta}(N^{1/2})$이며, $d>2$인 경우 $O(N^{1-1/d})$이다. 이는 확률적 구성과 스펙트럼 기법을 사용하여 도출된다. 이는 학습 이론과 통신 복잡도 이론에서 열려 있던 문제를 해결하며, 부호 랭크 계산에 대해 $O(N/\log N)$-근사 알고리즘을 제공한다.

ABSTRACT

This work studies the maximum possible sign rank of $N imes N$ sign matrices with a given VC dimension $d$. For $d=1$, this maximum is {three}. For $d=2$, this maximum is $ ildeΘ(N^{1/2})$. For $d >2$, similar but slightly less accurate statements hold. {The lower bounds improve over previous ones by Ben-David et al., and the upper bounds are novel.} The lower bounds are obtained by probabilistic constructions, using a theorem of Warren in real algebraic topology. The upper bounds are obtained using a result of Welzl about spanning trees with low stabbing number, and using the moment curve. The upper bound technique is also used to: (i) provide estimates on the number of classes of a given VC dimension, and the number of maximum classes of a given VC dimension -- answering a question of Frankl from '89, and (ii) design an efficient algorithm that provides an $O(N/\log(N))$ multiplicative approximation for the sign rank. We also observe a general connection between sign rank and spectral gaps which is based on Forster's argument. Consider the $N imes N$ adjacency matrix of a $Δ$ regular graph with a second eigenvalue of absolute value $λ$ and $Δ\leq N/2$. We show that the sign rank of the signed version of this matrix is at least $Δ/λ$. We use this connection to prove the existence of a maximum class $C\subseteq\{\pm 1\}^N$ with VC dimension $2$ and sign rank $ ildeΘ(N^{1/2})$. This answers a question of Ben-David et al.~regarding the sign rank of large VC classes. We also describe limitations of this approach, in the spirit of the Alon-Boppana theorem. We further describe connections to communication complexity, geometry, learning theory, and combinatorics.

연구 동기 및 목표

• 주어진 VC 차원 $d$를 가진 $N \times N$ 부호 행렬의 최대 가능한 부호 랭크를 결정하는 것.
• 최대 클래스와 큰 VC 차원 클래스의 부호 랭크에 대한 열려 있던 문제를 해결하는 것.
• 부호 랭크 계산을 위한 효율적인 근사 알고리즘을 개발하는 것.
• 부호 랭크, 스펙트럼 간격, 모멘트 곡선과 스패닝 트리와 같은 조합 구조 간의 연결 고리를 설정하는 것.
• 높은 부호 랭크와 낮은 VC 차원을 가진 행렬의 명시적 구성 방법을 제공하여 이전의 하한을 향상시키는 것.

제안 방법

• 실대수기하학의 워런 정리를 사용하여 부호 랭크가 높고 VC 차원이 제어된 랜덤 부호 행렬을 구성하는 것.
• 스태빙 수가 낮은 스패닝 트리를 갖는 웰즐의 결과를 적용하여 기하적 임bedding을 통한 부호 랭크 상한을 유도하는 것.
• 모멘트 곡선을 활용하여 상한에 로그 인자까지 포함하여 최대한 도달하는 명시적 행렬을 구성하는 것.
• 포스터의 추론을 활용하여 정규 그래프의 스펙트럼 간격과 부호 랭크를 연결하여, 부호 인접 행렬의 부호 랭크에 대해 $\Delta / \lambda$의 하한을 증명하는 것.
• 상한 기법을 사용하여 다항 시간 내에 $O(N/\log N)$-근사 알고리즘을 설계하는 것.
• 시어러의 보조정리를 적용하고 이분 그래프 투영을 사용하여 $U(d+1)$-무작위 그래프와 VC 클래스를 세는 것으로, 프랭클의 질문에 답하는 것.

실험 결과

연구 질문

• RQ1 VC 차원 $d=2$인 $N \times N$ 부호 행렬의 최대 가능한 부호 랭크는 무엇인가?
• RQ2 명시적 구성이 $d=2$일 때 부호 랭크 $\tilde{\Theta}(N^{1/2})$와 $d>2$일 때 $O(N^{1-1/d})$를 달성할 수 있는가?
• RQ3 VC 차원 2인 최대 클래스의 부호 랭크는 $\tilde{\Theta}(N^{1/2})$로 유계인가?
• RQ4 정규 그래프의 스펙트럼 간격을 사용하여 그 부호 인접 행렬의 부호 랭크를 하한으로 제시할 수 있는가?
• RQ5 주어진 행렬의 부호 랭크를 계산하는 데 필요한 계산 복잡도는 무엇이며, 비트리비얼 근사가 가능할 수 있는가?

주요 결과

• $d=2$인 경우, $N \times N$ 부호 행렬의 최대 부호 랭크는 $\tilde{\Theta}(N^{1/2})$이며, 이는 로그 인자까지 포함하여 상한과 일치한다.
• $d>2$인 경우, 최대 부호 랭크는 $O(N^{1-1/d})$ 이하이며, 이 상한은 로그 인자까지 포함하여 날카롭다.
• VC 차원 $d$를 가진 최대 클래스의 수는 최소 $N^{(1+o(1)){N \choose d}/(d+1)}$ 이상이며, 1989년 프랭클의 질문을 해결한다.
• 상한 기법을 사용하여 부호 랭크에 대해 $O(N/\log N)$-multiplicative 근사 알고리즘을 구성한다.
• $\Delta$-정규 그래프의 부호 인접 행렬의 부호 랭크는 $\Delta / \lambda$ 이상이며, 이는 스펙트럼 하한을 확립한다.
• 논문은 VC 차원 2를 가진 최대 클래스 $C \subseteq \{\pm 1\}^N$와 부호 랭크 $\tilde{\Theta}(N^{1/2})$의 존재를 증명하여, 벤-데이비드 등이 제기한 질문에 답한다.