[논문 리뷰] Stability revisited: new generalisation bounds for the Leave-one-Out

Alain Célisse, Benjamin Guedj|arXiv (Cornell University)|2016. 08. 23.

Machine Learning and Algorithms참고 문헌 14인용 수 12

한 줄 요약

이 논문은 균일 안정성보다 약한 새로운 일반화인 $L^q$ 안정성, 즉 가설 안정성의 일반화를 도입하여 이탈한 한 개의 샘플을 고려하는(LoO) 절차에 대한 비점근적 PAC 지수 일반화 경계를 유도한다. $L^q$ 안정성과 모멘트 부등식을 조합함으로써, 이전 결과보다 더 날카롭고 더 널리 적용 가능한 경계를 수립하였으며, 이는 Ridge 회귀에 대해 더 약한 조건 하에서도 향상된 이론적 보장을 제공한다.

ABSTRACT

The present paper provides a new generic strategy leading to non-asymptotic theoretical guarantees on the Leave-one-Out procedure applied to a broad class of learning algorithms. This strategy relies on two main ingredients: the new notion of $L^q$ stability, and the strong use of moment inequalities. $L^q$ stability extends the ongoing notion of hypothesis stability while remaining weaker than the uniform stability. It leads to new PAC exponential generalisation bounds for Leave-one-Out under mild assumptions. In the literature, such bounds are available only for uniform stable algorithms under boundedness for instance. Our generic strategy is applied to the Ridge regression algorithm as a first step.

연구 동기 및 목표

• 다양한 학습 알고리즘에 걸쳐 이탈한 한 개의 샘플을 고려하는(LoO) 추정기 분석을 위한 일반적인 이론적 프레임워크를 개발하기 위해.
• 균일 안정성이나 유한성과 같은 제한적인 가정을 초월해 LoO에 대한 비점근적 일반화 경계가 부족한 문제를 해결하기 위해.
• $L^q$ 안정성을 균일 안정성보다 더 약한 가설 안정성의 일반화로 도입하여 강력한 일반화 경계를 도출하는 데에 충분한 것으로서 제안하기 위해.
• 제안된 프레임워크를 Ridge 회귀에 적용하여 이전 연구보다 더 약한 조건 하에서도 최첨단의 일반화 경계를 도출하기 위해.
• 미래 연구에서 LoO를 초월해 V-폴드 교차검증과 같은 다른 변형으로 교차검증 절차의 이론적 분석을 확장하기 위해.

제안 방법

• 균일 안정성보다 더 약한 가설 안정성의 일반화이면서 동시에 가설 안정성의 일반화가 되는 새로운 안정성 개념인 $L^q$ 안정성을 제안하기 위해.
• Boucheron 등(2013)의 결과에서 유래한 모멘트 부등식을 사용하여 $L^q$ 안정성 하에서 LoO 추정기의 농도 경계를 도출하기 위해.
• Ridge 회귀에 프레임워크를 적용하기 위해 $\Gamma_{\lambda,1}, \Gamma_{\lambda,2}, \Gamma_{\lambda,3}$에 대한 명시적 경계를 도출함으로써 알고리즘의 $L^q$ 안정성을 정량화하기 위해.
• Proposition 4와 Corollary 1을 사용하여 예측 오차의 $L^q$ 노름과 모멘트 기반 농도 부등식을 활용해 일반화 경계를 수립하기 위해.
• 두 가지 주요 결과를 도출함: 하나는 유한한 $Y$ 조건 하에서의 결과(정리 3), 다른 하나는 서브-가우시안 $Y$ 조건 하에서의 결과(정리 4), 둘 다 $O(1/\sqrt{n})$의 편차 속도를 갖는다.
• 행렬 항등식(예: Henderson-Searle 공식)과 연산자 노름 경계를 활용하여 Ridge 회귀가 단일 샘플 제거에 대한 민감도를 제어하기 위해.

실험 결과

연구 질문

• RQ1 가설 안정성의 일반화이면서 균일 안정성보다 더 약한 새로운 안정성 개념을 정의할 수 있는가? 이는 더 날카운 일반화 경계 도출에 기여할 수 있는가?
• RQ2 이 새로운 안정성 개념과 모멘트 부등식을 효과적으로 조합하여 LoO 추정기의 비점근적, PAC 지수 경계를 도출할 수 있는가?
• RQ3 제안된 프레임워크는 Ridge 회귀에 얼마나 널리 적용될 수 있으며, 균일 안정성 하에서 도출된 경계와 비교해 볼 때 어떤가?
• RQ4 $Y$의 유한성 조건을 서브-가우시안성으로 완화했을 때 일반화 경계는 어떻게 행동하는가?
• RQ5 이 전략은 Ridge 회귀를 초월한 다른 학습 알고리즘과 V-폴드 CV와 같은 다른 교차검증 절차로 확장될 수 있는가?

주요 결과

• 제안된 $L^q$ 안정성 개념은 가설 안정성을 일반화하며, 균일 안정성보다 엄격히 더 약한 조건이므로 더 넓은 적용 가능성을 제공한다.
• $L^q$ 안정성 하에서, 이 논문은 LoO 추정기의 PAC 지수 일반화 경계를 도출하였으며, 이는 $O(1/\sqrt{n})$의 편차 속도를 갖는다. 이는 더 강한 가정 하에서도 알려진 결과와 일치한다.
• 유한한 $Y$ 조건 하에서의 Ridge 회귀에 대해 정리 3는 $\Gamma_{\lambda,1} + \Gamma_{\lambda,2} + \Gamma_{\lambda,3}$와 $B_Y^2$를 포함하는 상수를 갖는 일반화 경계를 수립하였으며, $O(1/\sqrt{n})$ 수렴 속도를 달성한다.
• 서브-가우시안 $Y$ 조건 하에서는 추가로 $x^{3/2}$ 유형의 항이 포함된 경계를 제시하며, 이는 $\|Y\|_q^2 \leq 2(\mathbb{E}[Y])^2 + 4(2e)^2 v q$를 활용하여 유도되었다. 이 경우에도 $O(1/\sqrt{n})$ 속도를 유지한다.
• 이전 연구보다 더 약한 가정 하에서 경계를 도출하였는데, 특히 균일 안정성 대신 $L^q$ 안정성을 사용함으로써 유사한 수렴 속도를 달성하였다.
• 이 프레임워크는 Ridge 회귀에 국한되지 않은 일반적인 것으로서, 향후 연구에서 다른 알고리즘과 V-폴드 CV와 같은 다른 교차검증 방식으로의 확장을 계획하고 있다.