[논문 리뷰] VC dimension of ellipsoids

Yohji Akama, Kei Irie|arXiv (Cornell University)|2011. 09. 20.

Bayesian Methods and Mixture Models참고 문헌 6인용 수 9

한 줄 요약

이 논문은 선형화 기법과 볼록 기하학을 결합하여 $d$-차원 타원체의 정확한 VC 차원을 $(d^2 + 3d)/2$로 규명한다. 또한 $N$-성분의 $d$-차원 가우시안 혼합 모델(GMM)의 VC 차원이 최소 $N(d^2 + 3d)/2$임을 보이며, 통계학적 학습 이론에서 모델 선택에 대한 날카운 하한을 제공한다.

ABSTRACT

We will establish that the VC dimension of the class of d-dimensional ellipsoids is (d^2+3d)/2, and that maximum likelihood estimate with N-component d-dimensional Gaussian mixture models induces a geometric class having VC dimension at least N(d^2+3d)/2. Keywords: VC dimension; finite dimensional ellipsoid; Gaussian mixture model

연구 동기 및 목표

• 학습 이론에서 기본적인 기하학적 클래스인 $d$-차원 타원체의 클래스에 대한 정확한 VC 차원을 결정하는 것.
• 모델 선택에 관련된 $N$-성분의 $d$-차원 가우시안 혼합 모델(GMM)의 VC 차원에 하한을 설정하는 것.
• 가우시안 혼합 밀도의 등고선을 포괄하는 클래스 ${\mathcal{D}}(({\mathcal{G}}_d)_N)$을 통해 타원체의 VC 차원과 가우시안 혼합 모델의 복잡성 간의 연결 고리를 제공하는 것.
• 이전에 점근적 또는 근사적으로만 알려져 있던 클래스에 대해 정확한 값을 제공하는 것.
• 다항식 초수준 집합에 대해 정확한 VC 차원 결과를 도출하기 위해 선형화 및 볼록체 기법의 적용 범위를 확장하는 것.

제안 방법

• 차수 2 이하의 단항식을 사용하여 단위 구면을 고차원 공간으로 매핑하는 좌표 변환 $\varphi: \mathbb{S}^{d-1} \to \mathbb{R}^B$를 사용하며, 여기서 $B = (d^2 + 3d)/2$이다.
• 타원체를 정의하는 이차 부등식을 변환된 공간에서 선형 부등식으로 연결함으로써 선형화 기법을 적용한다.
• 레마 2를 활용하여, 초평면이 포함된 영역이 매개변수 공간에서 $\ell^\infty$-노름의 변형을 받을 때, 초평면이 생성하는 하부집합이 스파이크된다는 것을 보인다.
• 충분히 작은 $\varepsilon > 0$에 대해, 변형된 초평면이 타원체에 대응함을 증명함으로써 VC 차원에 대한 하한을 확립한다.
• 레마 6을 사용하여, 밀도 클래스 $\mathcal{P}$가 이동 불변성과 급격한 감쇠 성질을 만족하면, $N$-중복 볼록 hull $({\mathcal{P}})_N$의 VC 차원이 $N \times \mathrm{VCdim}({\mathcal{D}}(\mathcal{P}))$ 이상이 된다는 것을 보인다.
• 타원체 클래스의 하한과 척도 성질을 조합하여, $N$-성분의 GMM에 대해 하한 $N(d^2 + 3d)/2$를 도출한다.

실험 결과

연구 질문

• RQ1 다음과 같은 $d$-차원 타원체의 클래스에 대한 정확한 VC 차원은 무엇인가? $d$-차원 타원체의 클래스에 대한 정확한 VC 차원은 무엇인가?
• RQ2 다음과 같은 $N$-성분의 $d$-차원 가우시안 혼합 모델의 VC 차원은 $N$과 $d$에 따라 어떻게 변화하는가? $N$-성분의 $d$-차원 가우시안 혼합 모델의 VC 차원은 $N$과 $d$에 따라 어떻게 변화하는가?
• RQ3 가우시안 혼합 밀도의 등고선 집합의 VC 차원을 기하학적 및 볼록 해석 도구를 통해 하한으로 제한할 수 있는가?
• RQ4 매개변수 공간에서의 선형화 및 변형 기법을 얼마나 정확한 VC 차원 값 도출에 활용할 수 있는가?
• RQ5 유계 차수의 다항식의 초수준 집합 클래스의 VC 차원은 유사한 방법으로 하한으로 제한될 수 있는가?

주요 결과

• 다음과 같은 $d$-차원 타원체의 클래스에 대한 VC 차원은 정확히 $(d^2 + 3d)/2$이다. $d$-차원 타원체의 클래스에 대한 VC 차원은 정확히 $(d^2 + 3d)/2$이다.
• 이 정확한 값은 매개변수 공간에서 타원체의 이웃에 의해 단위 구면 위의 크기 $(d^2 + 3d)/2$ 집합이 분쇄될 수 있음을 보여줌으로써 확립된다.
• $N$-성분의 $d$-차원 가우시안 혼합 모델의 VC 차원에 대한 하한은 $N(d^2 + 3d)/2$이다.
• 이 하한은 타원체 클래스에 척도 성질(레마 6)을 적용함으로써 도출되며, 이는 가우시안 밀도의 등고선 집합이다.
• 결과적으로 GMM의 복잡도가 $N$에 대해 선형으로, $d$에 대해 이차적으로 증가하며, 정확한 계수 $(d^2 + 3d)/2$를 가짐을 확인한다.
• 선형화와 볼록 기하학을 조합한 증명 기법은 다항식 초수준 집합으로 정의된 다른 클래스에도 일반화 가능하다.