[논문 리뷰] Empirical Bernstein Bounds and Sample Variance Penalization

Andreas Maurer, Massimiliano Pontil|ArXiv.org|2009. 07. 21.

Machine Learning and Algorithms참고 문헌 9인용 수 218

한 줄 요약

이 논문은 일반화 성능을 향상시키기 위해 경험적 분산을 위험 최소화에 통합하는 새로운 학습 방법인 표본 분산 페널티화(SVP)를 소개한다. 개선된 경험적 버르스타인 경계를 사용하여 저자들은 SVP가 특정 조건 하에서 ERM의 $1/\sqrt{n}$ 속도보다 훨씬 뛰어난 $1/n$ 순위의 초과 위험를 달성함을 보여준다.

ABSTRACT

We give improved constants for data dependent and variance sensitive confidence bounds, called empirical Bernstein bounds, and extend these inequalities to hold uniformly over classes of functionswhose growth function is polynomial in the sample size n. The bounds lead us to consider sample variance penalization, a novel learning method which takes into account the empirical variance of the loss function. We give conditions under which sample variance penalization is effective. In particular, we present a bound on the excess risk incurred by the method. Using this, we argue that there are situations in which the excess risk of our method is of order 1/n, while the excess risk of empirical risk minimization is of order 1/sqrt/{n}. We show some experimental results, which confirm the theory. Finally, we discuss the potential application of our results to sample compression schemes.

연구 동기 및 목표

• 지도 학습에서 일반화 오차에 대한 더 날카운, 분산 민감한 신뢰 구간을 개발하기 위해.
• 데이터 분산이 낮을 때조차도 $1/\sqrt{n}$의 초과 위험 속도를 보이는 경험적 위험 최소화(ERM)의 한계를 해결하기 위해.
• 손실 함수의 경험적 분산을 명시적으로 고려하는 표본 분산 페널티화(SVP)를 제안하고 분석하기 위해.
• SVP에 대한 이론적 보장을 수립하여, 특히 저분산 조건 하에서 ERM보다 향상된 초과 위험 경계를 확보하기 위해.
• 경험적 버르스타인 경계를 표본 압축 계획에까지 확장하여 더 날카운 일반화 경계를 가능하게 하기 위해.

제안 방법

• 일반화 분석에서 허프딩 부등식을 대체하는, 분산 민감하고 데이터에 의존적인 개선된 경험적 버르스타인 경계를 유도하기 위해.
• 경험적 위험와 확률적 파rameter $\lambda$로 스케일링된 분산 항의 조합을 최소화하는 방식으로 표본 분산 페널티화(SVP)를 도입하기 위해.
• 모든 가능한 $d$ 크기의 부분표본에 대한 유니온 바운드를 사용하여 가설 공간 전반에 걸친 균일한 경계를 도출하고, 이를 표본 압축 계획에 적용할 수 있도록 하기 위해.
• SVP 추정량을 부분표본 $\mathbf{X}[I]$에서 학습된 가설 중에서 $P_{I^c}(A_{\mathbf{X}[I]}) + \lambda \sqrt{V_{I^c}(A_{\mathbf{X}[I]})}$를 최소화하는 것으로 정의한다. 여기서 $I$는 크기가 $d$인 색인의 부분집합이다.
• 모든 가능한 $d$-부분표본 $\mathcal{C}$의 집합에 대해 경험적 버르스타인 부등식을 균일하게 적용하여 SVP의 초과 위험를 경계하기 위해.
• 진짜 가설의 진짜 분산과 부분표본 수의 로그에 의존하는 상대적 초과 위험 경계를 수립하기 위해.

실험 결과

연구 질문

• RQ1 분산 민감한 신뢰 구간은 전통적인 허프딩 유형의 경계보다 일반화 성능을 향상시킬 수 있는가?
• RQ2 표본 분산 페널티화(SVP)가 경험적 위험 최소화(ERM)보다 더 빠른 초과 위험 속도를 달성하는 조건은 무엇인가?
• RQ3 경험적 버르스타인 경계는 표본 크기의 다항식 성장 특성을 가지는 함수 클래스에 대해 균일하게 적용될 수 있는가?
• RQ4 손실 함수의 분산이 낮을 경우 SVP와 ERM의 초과 위험는 어떻게 비교되는가?
• RQ5 경험적 버르스타인 경계는 표본 압축 계획에 효과적으로 적용되어 일반화 보장을 향상시킬 수 있는가?

주요 결과

• 논문은 데이터에 의존하고 분산 민감한 개선된 경험적 버르스타인 경계의 상수를 도출하였다.
• 표본 분산 페널티화(SVP)는 저분산 조건 하에서 $1/n$ 순위의 초과 위험를 달성함을 입증하였으며, 이는 ERM의 $1/\sqrt{n}$ 속도보다 훨씬 뛰어나다.
• 이론적 분석을 통해 SVP의 초과 위험 경계가 $\sqrt{\frac{V(A_{\mathbf{X}[I^*]}, \mu) \ln(6|\mathcal{C}|/\delta)}{n-d}} + \frac{14 \ln(6|\mathcal{C}|/\delta)}{3(n-d-1)}$로 스케일링됨을 보여주었으며, 여기서 $V$는 가설의 진짜 분산을 의미한다.
• 최적의 가설이 낮은 분산을 가지며, 부분표본 크기 $d$가 $n$에 비해 작을 경우 이 방법은 효과적이며, 희소하고 안정적인 해를 도출한다.
• 실험 결과는 SVP가 저분산 손실 함수를 가진 시나리오에서 ERM를 능가함을 확인하여 이론적 개선을 검증한다.
• 경험적 버르스타인 경계를 표본 압축 계획에 적용한 결과, 특히 최적 가설의 진짜 위험이 집중되어 있을 경우 더 날카운 일반화 경계를 도출함을 보였다.