[논문 리뷰] Bounding the expectation of the supremum of an empirical process over a (weak) vc-major class

Yannick Baraud|arXiv (Cornell University)|2014. 11. 20.

Machine Learning and Algorithms참고 문헌 5인용 수 17

한 줄 요약

이 논문은 (약한) VC-major 또는 VC-subgraph 클래스의 함수에 대해 경험 과정의 Suprema 기대값에 대한 비 渐近적 상계를 제공하며, 명시적인 상수와 기존의 보편적 엔트로피 경계보다 향상된 수렴 속도를 갖는다. 이 방법은 엔트로피 함수의 오목 폐쇄를 통한 局부 엔트로피 제어를 활용하여, 분산이 작을 경우 특히 국소적으로 작은 분산 또는 L2-노름을 갖는 경우에 보다 날카로운 제어를 가능하게 한다. 전역 엔트로피 경계가 지나치게 보수적인 경우에 특히 효과적이다.

ABSTRACT

Given a bounded class of functions G and independent random variables X1, . . . , Xn, we provide an upper bound for the expectation of the supremum of the empirical process over elements of G having a small variance. Our bound applies in the cases where G is a VC-subgraph or a VC-major class and it is of smaller order than those one could get by using a universal entropy bound over the whole class G . It also involves explicit constants and does not require the knowledge of the entropy of G

연구 동기 및 목표

• VC-major 또는 VC-subgraph 클래스에 대해 경험 과정의 Suprema 기대값에 대한 더 날카로운 상계를 도출하기 위해.
• 클래스가 국소적으로 분산이나 L2-노름에서 작을 경우 보편적 엔트로피 경계가 지나치게 보수적인 경우를 개선하기 위해.
• 전역 엔트로피 계산에 의존하지 않는 명시적인 수치 상수를 갖는 비 渐近적 경계를 제공하기 위해.
• 특정 함수(예: L2-구내) 근처의 함수로 제한된 경우, 전역 엔트로피 경계가 국소적인 복잡성을 포착하지 못하는 경우를 다루기 위해.

제안 방법

• 엔트로피 함수의 오목 폐쇄 $\overline{H}(u)$ 를 사용하여 다양한 척도에서 클래스의 엔트로피를 제어한다.
• 기댓값 Suprema를 라데마처 평균을 통한 경계로 제어하기 위해 대칭화 및 체이닝 기법을 적용한다.
• 핵심 부등식은 $\mathbb{E}[\sup_{f \in \mathcal{F}} |\sum_{i=1}^n \varepsilon_i f(X_i)|]$ 를 $[0,1]$ 에서 $\overline{H}$ 의 적분을 통해 경계한다.
• VC-major 성질을 활용하여 수준 집합 $\{f > u\}$ 의 클래스가 VC임을 보장함으로써 엔트로피 제어를 가능하게 한다.
• 함수들을 중심화하고 분산을 제어하는 유한한 클래스로 문제를 단순화하기 위해 변환을 사용한다.
• 증명은 지표 함수에 대한 순차적 닫힘 추론과 VC 클래스의 성질을 활용하여 차원 제약 조건을 유지한다.

실험 결과

연구 질문

• RQ1 보편적 엔트로피 경계보다 VC-major 클래스에 대해 경험 과정 Suprema 기댓값에 대해 더 날카로운 경계를 얻을 수 있는가?
• RQ2 국소 분산 또는 L2-노름 제어를 어떻게 활용하여 경험 과정 경계의 수렴 속도를 향상시킬 수 있는가?
• RQ3 주어진 함수(예: 상수 또는 급격히 감소하는 함수) 근처의 엔트로피 구조는 국소 클래스의 복잡성 결정에 어떤 역할을 하는가?
• RQ4 전체 함수 클래스의 전역 엔트로피 계산 없이도 명시적인 상수를 갖는 비 渐近적 경계를 유도할 수 있는가?

주요 결과

• $\mathbb{E}[Z(\mathcal{F})]$ 의 경계는 $\sqrt{n} \cdot \overline{H}(\sigma \vee a - \sigma \log(\sigma \vee a))$ 의 순서이며, $\sigma$ 가 작을 경우 보편적 엔트로피 경계보다 엄격히 작다.
• $\mathcal{F} = \mathcal{G} \cap \mathcal{B}(g_0, r)$ 이고 $\mathcal{G}$ 가 VC-subgraph 또는 VC-major 클래스일 경우, $g_0$ 가 상수일 때 국소 엔트로피가 전역 엔트로피보다 훨씬 작아서 경계가 크게 향상된다.
• 방법은 순서 $\sqrt{n\sigma} + \sigma^{-1}$ 의 경계를 도출하지만, 특히 $\sigma \ll 1$ 일 경우 보편적 경계보다 상수가 더 작다.
• 경계는 비 渐近적이며, 동일하지 않아도 되는 독립 랜덤 변수에 적용 가능하다.
• 증명은 $\mathcal{F}$ 가 차원 $d$ 를 갖는 VC-major 이면 $\mathcal{G} = \{g_f = \frac{1}{2}(f - \mathbb{E}[f(X_1)])\}$ 는 최대 차원 $d$ 를 갖는 약한 VC-major 이며, 복잡성 구조를 유지함을 보여준다.
• 결과는 Giné와 Koltchinski(2006)의 예제 3.8보다 개선되었으며, 이 경우 기댓값이 $C(\sqrt{n\sigma} + \sigma^{-1})$ 보다 작다는 것이 알려져 있었다.