[논문 리뷰] PAC-Bayes Un-Expected Bernstein Inequality

Zakaria Mhammedi, Peter Grünwald외 1명|arXiv (Cornell University)|2019. 05. 31.

Machine Learning and Algorithms인용 수 8

한 줄 요약

이 논문은 표준 $√{L_n \cdot \text{KL}/n}$ 복잡도 항을 제거하고 두 번째 차수의 항 $V_n$로 대체하는 새로운 PAC-Bayesian 일반화 경계를 제안한다. 이는 알고리즘의 안정성 조건을 만족할 경우 $V_n$ 이 0에 수렴하므로, Bernstein/Tsybakov 조건이 성립할 경우 더 빠른 수렴을 가능하게 한다. 핵심 기여는 기대값 안에 있는 $X^2$ 를 외부로 이전시키는 새로운 농도 부등식으로, 이는 합성 데이터 및 UCI 데이터셋에서 기존 경계보다 훨씬 더 날카운 경계를 제공한다. 특히 $L_n$ 이 0이 아닌 경우에 뚜렷한 성능 향상을 보인다.

ABSTRACT

We present a new PAC-Bayesian generalization bound. Standard bounds contain a $\sqrt{L_n \cdot \KL/n}$ complexity term which dominates unless $L_n$, the empirical error of the learning algorithm's randomized predictions, vanishes. We manage to replace $L_n$ by a term which vanishes in many more situations, essentially whenever the employed learning algorithm is sufficiently stable on the dataset at hand. Our new bound consistently beats state-of-the-art bounds both on a toy example and on UCI datasets (with large enough $n$). Theoretically, unlike existing bounds, our new bound can be expected to converge to $0$ faster whenever a Bernstein/Tsybakov condition holds, thus connecting PAC-Bayesian generalization and {\em excess risk\/} bounds---for the latter it has long been known that faster convergence can be obtained under Bernstein conditions. Our main technical tool is a new concentration inequality which is like Bernstein's but with $X^2$ taken outside its expectation.

연구 동기 및 목표

• 표준 PAC-Bayesian 경계가 $L_n$ (표본 오차) 에 의존하여 $L_n$ 이 0이 되지 않을 경우 수렴 속도가 느려지는 한계를 해결하기 위해.
• 알고리즘의 안정성에 기반해 $L_n$ 을 대체할 수 있는 제2차 안정성 측도인 $V_n$ 으로 기존 경계를 대체함으로써, $L_n$ 이 비영일지라도 $V_n$ 이 작을 수 있음을 활용하는 새로운 일반화 경계를 개발하기 위해.
• PAC-Bayesian 일반화 경계를 초과 위험 경계와 연결하기 위해, Bernstein/Tsybakov 조건 하에서 새로운 경계의 수렴 속도 향상을 입증하기 위해.
• 기대값 내에 있는 $X^2$ 를 외부로 이전시키는 새로운 농도 부등식—'기대치 못한 Bernstein'—을 제안하여, 안정성 조건 하에서 분산 유사 항에 대한 더 엄밀한 제어를 가능하게 하기 위해.

제안 방법

• 표준 $\sqrt{L_n \cdot \text{KL}/n}$ 항을 $\sqrt{V_n \cdot \text{KL}/n}$ 으로 대체한 새로운 PAC-Bayesian 경계(정리 3)를 제안한다. 여기서 $V_n$ 은 제2차 안정성 측도이다.
• 기대값 내에 있는 $X^2$ 를 외부로 이전시키는 새로운 농도 부등식(보조정리 13)을 도입하며, 이를 '기대치 못한 Bernstein' 이라고 명명한다. 이는 분산 유사 항에 대한 더 엄밀한 제어를 가능하게 한다.
• $V_n$ 을 데이터 기반 안정성 측도로 정의한다: 전체 데이터셋과 부분 데이터셋(예: 첫 50%) 으로 학습된 모델 간 예측의 유사도를 측정함으로써 알고리즘의 안정성을 반영한다.
• $V_n$ 에서 온라인 사후분포 $Q(Z_{>i})$ 와 $Q(Z_{<j})$ 를 사용하여 전체 표본 사후분포로의 수렴을 가능하게 하여, 실질적 적용에서 경계의 날카움을 향상시킨다.
• 합성 데이터 및 실제 UCI 데이터셋에 대해 본 경계를 적용하고, Maurer, TS, Catoni 등의 최신 기술과 비교한다.
• 특히 Maurer 및 TS 경계의 기준선을 향상시키기 위해 첫 번째 반의 데이터를 기반으로 한 정보 기반 사전분포를 사용한다.

실험 결과

연구 질문

• RQ1 empirical error $L_n$ 을 안정성 기반 제2차 항 $V_n$ 으로 대체함으로써 PAC-Bayesian 일반화 경계를 향상시킬 수 있는가?
• RQ2 Bernstein 또는 Tsybakov 조건이 성립할 경우, 새로운 경계가 기존 PAC-Bayesian 경계보다 더 빠르게 수렴하는가?
• RQ3 기대값 내에 있는 $X^2$ 를 외부로 이전시키는 새로운 농도 부등식이 실질적으로 더 날카운 경계를 제공하는가?
• RQ4 실제 데이터셋에서 $L_n$ 이 0이 아닌 상황에서 새로운 경계의 성능이 최신 기술 경계보다 어떻게 비교되는가?
• RQ5 알고리즘의 안정성—$V_n$ 으로 측정됨—이 일반화 경계의 날카움에 얼마나 기여하는가?

주요 결과

• 제안된 경계는 합성 데이터 및 UCI 데이터셋에서 최신 기술 경계를 일관되게 능가하며, 특히 $n$ 이 클수록 성능 향상이 뚜렷하다. $L_n \approx 0.03$ (예: MNIST 유사 설정) 일 경우에도 마찬가지다.
• UCI 데이터셋에서 새로운 경계는 Catoni 및 TS 경계보다 더 날카운 경계를 달성하며, 절대적 수준에서 5%에서 20%까지 향상된다 (예: kr-vs-kp 데이터셋에서 0.107 대비 0.123).
• Bernstein/Tsybakov 조건이 성립할 경우, 경계의 $\sqrt{V_n \cdot \text{KL}/n}$ 항은 $\sqrt{L_n \cdot \text{KL}/n}$ 항보다 더 빠르게 수렴하며, 이는 PAC-Bayesian 경계가 초과 위험 이론과 연결됨을 시사한다.
• 실험 결과 $L_n$ 이 크더라도 $V_n$ 이 0에 가까워질 수 있음을 확인하였으며, 이는 이 경계가 이전 경계가 실패하는 안정성 측도를 잘 포착함을 의미한다.
• 정보 기반 사전분포를 사용하면 기존 경계(예: Maurer의 경계)의 성능이 크게 향상되지만, 제안된 경계는 여전히 그들을 능가하며, $n$ 이 증가함에 따라 그 격차가 커진다.
• 이론적 분석 결과, 새로운 경계의 수렴 속도는 Tsybakov 지수 $\beta$ 에 따라 달라지며, $\beta$ 가 클수록 수렴 속도가 향상된다. 이는 초과 위험 경계의 행동과 일치한다.