[논문 리뷰] Entropy, dimension and the Elton-Pajor Theorem

Shahar Mendelson, Roman Vershynin|arXiv (Cornell University)|2002. 01. 07.

Point processes and geometric inequalities참고 문헌 11인용 수 5

한 줄 요약

이 논문은 볼록체 $K \subset [-1,1]^n$의 Vapnik-Chervonenkis (VC) 차원과 $ℚ^n$ 및 $\ell_p^n$ 노름에서의 엔트로피 사이의 기본적인 연결 고리를 확립하며, 엔트로피가 로그 인자들을 제외한 상수 요소들까지 VC 차원에 의해 결정됨을 증명한다. 핵심 결과는 Elton의 정리에서 최적의 渐近적 행동을 유도하는 날카운 엔트로피 상한을 제시하는 것으로, 이는 실수 값 함수 클래스로의 Dudley 유형 엔트로피 부등식을 확장한다.

ABSTRACT

The Vapnik-Chervonenkis dimension of a set K in R^n is the maximal dimension of the coordinate cube of a given size, which can be found in coordinate projections of K. We show that the VC dimension of a convex body governs its entropy. This has a number of consequences, including the optimal Elton's theorem and a uniform central limit theorem in the real valued case.

연구 동기 및 목표

• 볼록체 $K \subset [-1,1]^n$의 Vapnik-Chervonenkis (VC) 차원과 $\ell_p^n$ 및 $\ell_\infty^n$ 노름에서의 메트릭 엔트로피 사이의 연결 고리를 확립한다.
• 볼록체에 대한 VC 차원을 사용한 날카운 엔트로피 추정을 제공하여 체적 기반 상한과 Talagrand 등 이전 결과들을 향상시킨다.
• 이중체의 VC 차원과 Rademacher 합의 기대 노름 사이의 관계를 통해 Elton의 정리에서 최적의 渐近적 행동을 도출한다.
• 지속적인 분할 차원을 사용하여 Dudley 유형 엔트로피 부등식을 실수 값 함수 클래스로 확장함으로써 균일한 Donsker 클래스 조건을 이끌어낸다.
• 고차원 확률론과 경험과정 이론에서의 커버링 수, 타입 상수, 중심극한정리에 관한 결과들을 통합하고 강화한다.

제안 방법

• 볼록체 $K$의 VC 차원 $\mathrm{VC}(K,t)$를 정의한다. 이는 $P_\sigma K$가 $x + [0,t]^\sigma$ 형태의 입자를 포함하는 좌표 부분집합 $\sigma$의 최대 크기로 정의된다.
• 새로운 엔트로피 상한을 증명한다: $1 < p < \infty$ 및 $0 < t < 1$일 때 $\log N(K, n^{1/p}B_p^n, t) \leq C p^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$이며, 절대 상수 $C,c > 0$를 갖는다.
• $\ell_\infty^n$-노름에 대해 더 강력한 상한을 확립한다: $t^M n$ 조건을 만족하는 차원 조건 하에 $\log N(K, B_\infty^n, t) \leq C M^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$.
• Dudley의 엔트로피 적분 부등식을 적용하여 가우시안 과정의 기대 $\ell_2$-노름과 VC 차원 사이의 관계를 유도하며, $\mathbb{E}\|\sum g_i e_i\|_{K^\circ} \lesssim \sqrt{n} \int_0^1 \sqrt{\mathrm{VC}(K, ct)} \log(2/t) \, dt$를 얻는다.
• 엔트로피 상한을 활용하여 Elton의 정리에서 최적의 상수를 도출한다: $s \geq c\delta^2$, $t \geq c\delta$, $\sqrt{s} t \log^{2.1}(2/t) \gtrsim \delta$.
• 경험과정으로의 확장을 위해 $L_2(\mu_n)$ 커버링 수와 지속적인 분할 차원을 연결하여 $\log N(F, L_2(\mu_n), t) \leq C \, \mathrm{fat}_{t/8}(F) \log^2(2/t)$를 증명한다.

실험 결과

연구 질문

• RQ1 볼록체 $K \subset [-1,1]^n$의 엔트로피는 환경 차원 $n$이 아닌 VC 차원에 따라 유계로 간주될 수 있는가?
• RQ2 Elton의 정리에서 기대 Rademacher 노름의 하한 $\delta$에 대해 상수들의 최적 의존성은 무엇인가?
• RQ3 지속적인 분할 차원을 사용하여 Boolean 함수 클래스에서 실수 값 함수 클래스로의 Dudley의 엔트로피 적분 부등식을 어느 정도까지 확장할 수 있는가?
• RQ4 볼록체의 VC 차원은 $\ell_p^n$ 및 $\ell_\infty^n$ 노름에서의 메트릭 엔트로피와 어떻게 관련되는가?
• RQ5 지속적인 분할 차원에 대해 어떤 조건에서 함수 클래스가 균일한 Donsker 클래스가 되는가?

주요 결과

• $\ell_p^n$-노름에서 볼록체 $K \subset B_\infty^n$의 엔트로피는 $C p^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$로 유계로 간주되며, 이는 엔트로피가 로그 인자들을 제외한 상수 요소들까지 VC 차원에 의해 결정됨을 보여준다.
• $\ell_\infty^n$-노름의 경우, 차원 조건 하에 $\log N(K, B_\infty^n, t) \leq C M^2 \log^2(2/t) \cdot \mathrm{VC}(K, ct)$를 만족하며, 이는 이전의 상한보다 향상된 결과이다.
• $\log N(K, B_\infty^n, t) \geq \mathrm{VC}(K, ct)$의 하한은 엔트로피가 VC 차원에 의해 로그 인자들까지 엄밀하게 제어됨을 보여준다.
• 엔트로피 상한은 Elton의 정리에서 최적의 渐近적 행동을 이끌어낸다: $s \geq c\delta^2$ 및 $t \geq c\delta$, $\sqrt{s} t \log^{2.1}(2/t) \gtrsim \delta$이며, 이는 Talagrand의 결과를 향상시킨다.
• 이중체 위의 가우시안 과정의 기대 노름은 $\mathbb{E}\|\sum g_i e_i\|_{K^\circ} \lesssim \sqrt{n} \int_0^1 \sqrt{\mathrm{VC}(K, ct)} \log(2/t) \, dt$를 만족하며, 이는 최적의 Elton 정리로 이어진다.
• $\log N(F, L_2(\mu_n), t) \leq C \, \mathrm{fat}_{t/8}(F) \log^2(2/t)$의 커버링 수 추정은 Haussler의 결과를 실수 값 클래스로 확장하며, $\int_0^1 \sqrt{\mathrm{fat}_{t/8}(F)} \log(2/t) \, dt < \infty$이면 $F$가 균일한 Donsker 클래스임을 의미한다.