[논문 리뷰] Optimal Bounds on the VC-dimension

Mónika Csikós, Andrey Kupavskii외 1명|arXiv (Cornell University)|2018. 07. 20.

Machine Learning and Algorithms참고 문헌 14인용 수 5

한 줄 요약

이 논문은 $\mathbb{R}^d$에서 반공간의 $k$-겹 합집합 및 교집합의 VC차원과 초평면 배열에 의해 유도되는 $k$차원 단체의 VC차원에 대한 오랫동안 미해결된 문제를 해결한다. $\mathbb{R}^d$에서 반공간의 $k$-겹 합집합의 VC차원이 $\Theta(d \cdot k \log k)$임을 증명하여, Blumer 등(1989)의 고전적 $O(d k \log k)$ 상한 bound의 날카러움을 확인하고 30년간의 격차를 메운다.

ABSTRACT

The VC-dimension of a set system is a way to capture its complexity and has been a key parameter studied extensively in machine learning and geometry communities. In this paper, we resolve two longstanding open problems on bounding the VC-dimension of two fundamental set systems: $k$-fold unions/intersections of half-spaces, and the simplices set system. Among other implications, it settles an open question in machine learning that was first studied in the 1989 foundational paper of Blumer, Ehrenfeucht, Haussler and Warmuth as well as by Eisenstat and Angluin and Johnson.

연구 동기 및 목표

• 차원 $d \geq 4$에 대해 $\mathbb{R}^d$에서 반공간의 $k$-겹 합집합 및 교집합의 정확한 VC차원을 구하는 오랫동안 미해결된 문제를 해결하기 위해.
• 반공간의 $k$-겹 합집합에 대한 알려진 $O(dk\log k)$ 상한과 $\Omega(dk)$ 하한 사이의 격차를 메우기 위해.
• 초평면 배열과 교차하는 $k$차원 단체에 의해 유도되는 집합계의 VC차원에 대한 날카로운 경계를 설정하기 위해.
• Blumer 등(1989)의 $O(dk\log k)$ 경계가 $d \geq 4$일 때 점근적으로 날카로운지 보여주는 구축 증명을 제공하기 위해.
• Blumer 등의 기초적인 1989년 논문과 Eisenstat 및 Johnson의 후속 연구에서 제기된 VC차원 경계의 날카러움에 대한 미해결 질문을 해결하기 위해.

제안 방법

• 모든 부분집합 $P' \subseteq P$에 대해 정확히 $P'$를 포함하는 $k$개의 반공간의 합집합이 존재하도록, $\mathbb{R}^d$ 내에서 $\Omega(dk\log k)$개의 점을 포함하는 집합 $P$를 구성한다.
• 원점을 포함하고 아래를 향한 방향을 유지하기 위해, 형태 $\sum_{i=1}^d \frac{x_i}{b_i} \leq d$의 제한된 반공간 형태를 사용한다. 이는 이중성에서 일관된 방향을 보장한다.
• 점-초평면 이중성 적용: 각 점 $p \in P$는 $\mathbb{R}^d$ 내의 초평면 $H(p)$로 매핑되며, 이로써 $\Omega(dk\log k)$개의 초평면 집합 $\mathcal{H}$를 형성한다.
• 이중성에 의해 포함관계를 유지하면서, 각 반공간을 $D(H) = (b_d/b_1, \dots, b_d/b_{d-1}, d \cdot b_d)$를 통해 $\mathbb{R}^d$ 내의 점으로 매핑한다.
• 모든 초평면 $H \in \mathcal{H}$가 $\Delta$와 교차하는 것과 $H$가 $P'$에 속하는 점에 대응하는 것 사이의 이분성 조건을 만족하는 $k$차원 단체 $\Delta = \mathrm{conv}(D(\mathcal{G}(P')) \cup \{(0,\dots,0,\infty)\})$를 구성한다.
• $\mathcal{H}$를 셸링하는 집합계 $\Delta_k(\mathcal{H})$가 $\mathcal{H}$를 완전히 분할함을 증명하여, $\mathrm{VC\text{-}dim}(\Delta_k(\mathcal{H})) = \Omega(dk\log k)$를 확립한다.

실험 결과

연구 질문

• RQ1 $d \geq 4$일 때 $\mathbb{R}^d$에서 반공간의 $k$-겹 합집합의 정확한 VC차원은 무엇인가요?
• RQ2 반공간의 $k$-겹 합집합의 VC차원에 대한 $O(dk\log k)$ 상한 경계는 날카로운가요?
• RQ3 $\mathbb{R}^d$에서 초평면 배열과 교차하는 $k$차원 단체의 집합계의 VC차원은 무엇인가요?
• RQ4 Blumer 등(1989)의 $O(dk\log k)$ 경계는 $d \geq 4$일 때 증명적으로 날카로운가요?
• RQ5 반공간의 $k$-겹 합집합에 대해 $\Omega(dk\log k)$의 VC차원을 갖는 집합계가 존재하는가요?

주요 결과

• $d \geq 4$일 때 반공간의 $k$-겹 합집합의 VC차원은 $\Theta(dk\log k)$이며, 이는 30년간의 미해결 문제를 해결한다.
• 이 논문은 $\mathbb{R}^d$에서 반공간의 $k$-겹 합집합의 VC차원에 대해 $\Omega(dk\log k)$의 하한을 확립하였으며, 이는 Blumer 등(1989)의 고전적 상한과 정확히 일치한다.
• $\mathbb{R}^d$에서 초평면 배열 $\mathcal{H}$와 교차하는 $k$차원 단체에 의해 유도되는 집합계 $\Delta_k(\mathcal{H})$의 VC차원은 $\Omega(dk\log k)$이다.
• 구성 방법을 통해 Blumer 등의 정리 A의 $O(dk\log k)$ 상한 경계가 $d \geq 4$일 때 점근적으로 날카로움을 증명한다.
• 이 결과는 $\Omega(dk\log k)$ 하한이 날카로움을 확인하여, 1989년 기초 논문 이후 오랫동안 지속된 상한과 하한 사이의 격차를 해결한다.
• 이중성과 $k$차원 단체의 볼록결합 구성 기반의 증명 기법은 기하적 집합계에서 VC차원 하한을 확립하는 데 새로운 방법을 제공한다.