[논문 리뷰] Estimated VC dimension for risk bounds

Daniel J. McDonald, Cosma Rohilla Shalizi외 1명|arXiv (Cornell University)|2011. 11. 15.

Neural Networks and Applications참고 문헌 7인용 수 6

한 줄 요약

이 논문은 Vapnik 등(2010)의 시뮬레이션 기반 추정기법을 사용하여 추정된 VC 차원에 대한 고확률 농도 경계를 수립함으로써, 진짜 VC 차원이 해석적으로 구하기 어려운 경우에도 타당한 일반화 리스크 경계를 확보할 수 있도록 한다. 주요 기여는 고전적 VC 리스크 경계에 추정된 VC 차원을 활용하는 것에 대한 엄밀한 이론적 프레임워크를 제공함으로써, 패턴 인식에서 경험 리스크 최소화의 유한 샘플 일致성을 보장하는 것이다.

ABSTRACT

Vapnik-Chervonenkis (VC) dimension is a fundamental measure of the generalization capacity of learning algorithms. However, apart from a few special cases, it is hard or impossible to calculate analytically. Vapnik et al. [10] proposed a technique for estimating the VC dimension empirically. While their approach behaves well in simulations, it could not be used to bound the generalization risk of classifiers, because there were no bounds for the estimation error of the VC dimension itself. We rectify this omission, providing high probability concentration results for the proposed estimator and deriving corresponding generalization bounds.

연구 동기 및 목표

• 실제로 해석적으로 구하기 어려운 경우에 경험적으로 추정된 VC 차원을 일반화 리스크 경계에 사용하는 데 있어 이론적 근거가 부족한 점을 보완하기 위해.
• Vapnik 등(2010)이 제안한 VC 차원 추정기법에 대한 고확률 농도 결과를 제공하기 위해.
• 진짜 값이 알려져 있지 않은 경우에도 추정된 VC 차원에 의존하는 유한 샘플 리스크 경계를 유도하기 위해.
• 진짜 VC 차원이 알려져 있거나 해석적으로 구하기 어려운 실용적 학습 시나리오에서 VC 기반 리스크 경계를 사용할 수 있도록 하기 위해.
• 추정 오차를 확률적으로 제어함으로써 고전적 VC 이론의 적용 범위를 SVM 및 신경망과 같은 복잡한 모델로 확장하기 위해.

제안 방법

• Vapnik 등(2010)의 시뮬레이션 기반 VC 차원 추정 절차를 사용하여 함수 클래스의 VC 차원을 경험적으로 추정한다.
• 경험 과정 이론을 적용하여 진짜 값 주위에 추정된 VC 차원의 고확률 농도 경계를 유도한다.
• 적절한 샘플 크기 및 모델 복잡성 조건 하에서 추정된 VC 차원 $\widehat{h}$가 진짜 값 $h^*$ 주위에 고확률로 농도함을 보장한다.
• 진짜 VC 차원 $h^*$ 대신 추정된 $\widehat{h}$를 사용하는 일반화 리스크 경계를 유도하며, $\widehat{h}$의 농도를 통해 총 오차를 제어한다.
• 체이닝 추론과 대칭화 기법을 활용하여, 추정된 VC 차원에 조건부로 경험 리스크와 진짜 리스크의 이탈을 경계한다.
• 실제 학습 데이터와 추정 과정에 사용된 시뮬레이션 데이터 간의 통계적 독립성을 반영하기 위해 제품 측도 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 추정 오차가 존재하는 바에도 불구하고 추정된 VC 차원을 일반화 리스크 경계에 신뢰성 있게 사용할 수 있는가?
• RQ2 추정된 VC 차원이 진짜 VC 차원으로부터 크게 벗어날 확률은 얼마인가?
• RQ3 추정 오차를 고확률로 경계함으로써 타당한 리스크 경계를 확보하기 위해 VC 차원의 추정 오차를 어떻게 제어할 수 있는가?
• RQ4 고전적 VC 리스크 경계를 추정된 VC 차원을 사용하도록 수정하면서도, 여전히 유한 샘플 일치성을 유지할 수 있는가?
• RQ5 경험 리스크 최소화 분류기의 일반화 리스크가 추정된 VC 차원을 사용할 때 유한하게 유지되기 위한 조건는 무엇인가?

주요 결과

• 적절한 조건 하에서 추정된 VC 차원 $\widehat{h}$는 진짜 VC 차원 $h^*$ 주위에 고확률로 농도하며, $\mathbb{P}(|\widehat{h}-h^*|>\delta) \leq 13\exp\left\{-\frac{mk\delta^2}{16c_3}\right\}$ 를 만족한다.
• 일반화 리스크 경계 $\mathbb{P}(\sup_f |R_n(f) - \widehat{R}_n(f)| > \rho)$ 는 고확률로 $4GF(\widehat{h}+\delta, 2n)\exp\{-n\rho^2\}$ 로 경계되며, 여기서 $GF$ 는 성장 함수이다.
• 리스크 이탈 경계는 추정된 VC 차원 $\widehat{h}$ 에 의존하며, $\widehat{h}$ 의 농도 덕분에 총 리스크 경계는 여전히 타당하고 날카롭게 유지된다.
• 적절한 모멘트 조건이 충족된다면 손실 함수가 유계가 아니어도 적용 가능하여, VC 이론을 유계 손실 설정을 초월하여 확장한다.
• 이론적 프레임워크는 SVM 및 신경망과 같은 복잡한 모델에서의 모델 선택과 유한 샘플 예측 리스크 특성화를 지원한다.
• 결과적으로 시뮬레이션 기반 VC 추정의 실용적 사용을 정당화하며, VC 이론을 실제 학습 문제에 적용하는 데 있어 핵심적인 이론적 격차를 메운다.