[論文レビュー] Optimal Bounds on the VC-dimension

Mónika Csikós, Andrey Kupavskii+1 more|arXiv (Cornell University)|Jul 20, 2018

Machine Learning and Algorithms参考文献 14被引用数 5

ひとこと要約

この論文は、$ℚ^d$ 内の $k$ 重和集合および交わりの半空間、および超平面配置によって誘導される $k$ 次元単体の VC次元に関する長年の未解決問題を解決する。$k$ 重和集合の VC次元が $Θ(d \cdot k \log k)$ であることを証明し、Blumer ら (1989) が示した古典的な $O(d k \log k)$ 上界のタイトさを確認する。これにより、30年間にわたる文献上のギャップが埋められた。

ABSTRACT

The VC-dimension of a set system is a way to capture its complexity and has been a key parameter studied extensively in machine learning and geometry communities. In this paper, we resolve two longstanding open problems on bounding the VC-dimension of two fundamental set systems: $k$-fold unions/intersections of half-spaces, and the simplices set system. Among other implications, it settles an open question in machine learning that was first studied in the 1989 foundational paper of Blumer, Ehrenfeucht, Haussler and Warmuth as well as by Eisenstat and Angluin and Johnson.

研究の動機と目的

• $d \geq 4$ の場合、$ℚ^d$ 内の $k$ 重和集合および交わりの半空間の VC次元を正確に特定するという長年の未解決問題を解決すること。
• 半空間の $k$ 重和集合の既知の $O(dk\log k)$ 上界と $\Omega(dk)$ 下界のギャップを埋めること。
• 超平面配置によって誘導される $k$ 次元単体の集合系の VC次元にタイトな境界を確立すること。
• Blumer ら (1989) が示した $O(dk\log k)$ 界が $d \geq 4$ の場合に漸近的にタイトであることを示す構成的証明を提供すること。
• Blumer ら (1989) の基盤的論文および Eisenstat と Johnson の後続研究における VC次元境界のタイトさに関する未解決の問いを解決すること。

提案手法

• $P$ を $ℤ(dk\log k)$ 個の点からなる集合とし、任意の部分集合 $P' \subseteq P$ に対して、その和集合がちょうど $P'$ に一致するような $k$ 個の半空間の集合が存在することを構成する。
• 原点を含み、下方を向いた形の半空間の制限された形 $\sum_{i=1}^d \frac{x_i}{b_i} \leq d$ を用い、双対性のための一貫した方向性を保証する。
• 点-超平面双対性を適用：各点 $p \in P$ は $ℚ^d$ 内の超平面 $H(p)$ に写像され、$ℤ(dk\log k)$ 個の超平面の集合 $\mathcal{H}$ を形成する。
• 各半空間を双対性により点に写像する：$D(H) = (b_d/b_1, \dots, b_d/b_{d-1}, d \cdot b_d)$ とし、包含関係を保つ。
• 各超平面 $H \in \mathcal{H}$ が $\Delta = \mathrm{conv}(D(\mathcal{G}(P')) \cup \{(0,\dots,0,\infty)\})$ と交わるための条件を満たす $k$ 次元単体 $\Delta$ を構成する。このとき、$H$ が $\Delta$ と交わるための必要十分条件は、$H$ が $P'$ に属する点に対応することである。
• 集合系 $\Delta_k(\mathcal{H})$ が $\mathcal{H}$ をシャッタリングすることを証明し、$\mathrm{VC\text{-}dim}(\Delta_k(\mathcal{H})) = \Omega(dk\log k)$ を確立する。

実験結果

リサーチクエスチョン

• RQ1 $d \geq 4$ の場合、$ℚ^d$ 内の $k$ 重和集合の半空間の VC次元は何か？
• RQ2 半空間の $k$ 重和集合の VC次元に対する $O(dk\log k)$ 上界はタイトか？
• RQ3 超平面配置 $ℚ^d$ 内で交わる $k$ 次元単体の集合系の VC次元は何か？
• RQ4 Blumer ら (1989) の $O(dk\log k)$ 界は $d \geq 4$ の場合にタイトに証明できるか？
• RQ5 半空間の $k$ 重和集合の VC次元が $Ω(dk\log k)$ であるような集合系が存在するか？

主な発見

• $d \geq 4$ の場合、$ℚ^d$ 内の $k$ 重和集合の半空間の VC次元は $Θ(dk\log k)$ である。これは30年間にわたる未解決問題を解決する。
• この論文は、$ℚ^d$ 内の $k$ 重和集合の半空間の VC次元に対して $Ω(dk\log k)$ の下界を確立し、Blumer ら (1989) が示した古典的な上界と一致する。
• 超平面配置 $ℚ^d$ 内で交わる $k$ 次元単体の集合系 $Δ_k(\mathcal{H})$ の VC次元は $Ω(dk\log k)$ である。
• 構成により、Blumer らの定理 A の $O(dk\log k)$ 上界が $d \geq 4$ の場合に漸近的にタイトであることが証明された。
• この結果により、1989年の基盤的論文以降長期間にわたり存在していた上界と下界のギャップが解消され、$Ω(dk\log k)$ の下界がタイトであることが確認された。
• 双対性と $k$ 次元単体の凸包構成を用いた証明技法は、幾何的集合系における VC次元の下界を確立するための新しい手法を提供する。