[논문 리뷰] PAC-Bayes Mini-tutorial: A Continuous Union Bound

Tim van Erven|arXiv (Cornell University)|2014. 05. 07.

Advanced Bandit Algorithms Research참고 문헌 7인용 수 14

한 줄 요약

이 논문은 Cramér-Chernoff 방법을 통해 Hoeffding의 부등식과 Bernstein의 부등식과 같은 고전적 농도 불등식을 확장하여, PAC-Bayesian 일반화 경계에 대한 연속적 유니온 바운드 프레임워크를 제안한다. 이는 이산 가설 공간과 연속 가설 공간을 통합하는 경계를 도출하며, 이산 유니온 바운드를 사전-사후 쌍에 대한 베이지안 마진화로 대체함으로써 기계 학습 설정에서 더 날카우며 더 민첩한 일반화 보장을 제공한다.

ABSTRACT

When I first encountered PAC-Bayesian concentration inequalities they seemed to me to be rather disconnected from good old-fashioned results like Hoeffding's and Bernstein's inequalities. But, at least for one flavour of the PAC-Bayesian bounds, there is actually a very close relation, and the main innovation is a continuous version of the union bound, along with some ingenious applications. Here's the gist of what's going on, presented from a machine learning perspective.

연구 동기 및 목표

• 고전적 농도 불등식(예: Hoeffding, Bernstein)과 PAC-Bayesian 일반화 경계 사이의 개념적이고 기술적인 다리를 놓는 것.
• PAC-Bayesian 경계가 이산 가설 선택 대신 베이지안 마진화로 대체되는 연속적 유니온 바운드의 연속적 버전으로 자연스럽게 유도됨을 보여주는 것.
• Cramér-Chernoff 방법을 사용하여 PAC-Bayesian 경계를 체계적으로 유도하고, 경험적 위험과 사전-사후 분포 간의 발산을 바탕으로 일반화 오차에 대한 명시적 경계를 제공하는 것.
• 경계를 최적화하기 위한 두 가지 핵심 설계 전략을 탐색하는 것: 고정된 사전 분포에 대해 최적의 사후 분포를 선택하는 것과, 고정된 사후 분포에 대해 국소화된 사전 분포를 선택하는 것.

제안 방법

• 진짜 위험 $ R(h) $ 와 경험적 위험 $ R_n(D,h) $ 를 연결하기 위해 $ M_{\nu}(h) = -\frac{1}{\eta}\ln \mathbb{E}[e^{-\eta \ell(X,Y,h)}] $ 라는 서브로게이션 함수를 Cramér-Chernoff 방법을 적용하여 정의한다.
• 마르코프 부등식과 i.i.d. 표본 추출을 사용하여, 확률 적어도 $ 1 - \delta $ 에서 유효한 고확률 경계 $ M_{\eta}(h) \leq R_n(D,h) + \frac{1}{\eta n}\ln\frac{1}{\delta} $ 를 도출한다.
• 이를 사전 $ \pi $ 를 사용한 가설에 대한 유니온으로 확장하여 이산 합을 적분으로 대체함으로써, 수치 가능한 $ \mathcal{H} $ 에 대해 $ M_{\eta}(\hat{h}) \leq R_n(D,\hat{h}) + \frac{1}{\eta n}\ln\frac{1}{\pi(\hat{h})\delta} $ 를 유도한다.
• 사후 분포 $ \hat{\pi} $ 를 도입하여 연속 가설 공간으로 일반화함으로써, Kullback-Leibler 발산 $ D(\hat{\pi} \| \pi) $ 를 포함하는 경계를 도출한다.
• 두 가지 주요 경계를 유도한다: $ \phi(x) $ 를 사용한 분산 유형 경계와 $ \alpha > 1 $ 을 사용한 손실 제한 접근법으로, 둘 다 $ \alpha $-발산 항을 포함한다.
• 두 가지 최적화 전략을 제안한다: (1) 깁스 사후분포 $ \hat{\pi}(h) \propto \pi(h) e^{-\eta n R_n(D,h)/\alpha} $, (2) 국소화된 사전 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $ 로서, 둘 다 경계 표현식을 최소화한다.

실험 결과

연구 질문

• RQ1 고전적 유니온 바운드는 어떻게 이산 가설 공간에서 연속 가설 공간으로 일반화될 수 있는가?
• RQ2 PAC-Bayesian 경계와 Hoeffding의 부등식과 Bernstein의 부등식과 같은 표준 부등식 사이의 관계는 무엇인가?
• RQ3 Cramér-Chernoff 방법은 어떻게 PAC-Bayesian 프레임워크에서 날카운 일반화 경계를 도출하기 위해 조정될 수 있는가?
• RQ4 결과로 나오는 일반화 경계를 최소화하는 데 최적의 사전 및 사후 분포 선택은 무엇인가?
• RQ5 후보 및 사전 업데이트를 번갈아 가며 반복적으로 최적화할 수 있는가?

주요 결과

• PAC-Bayesian 프레임워크는 이산 가설에 대한 합을 사후 분포에 대한 기댓값으로 대체하는 연속적 유니온 바운드의 한 형태로 해석될 수 있다.
• 최적화된 $ \eta $ 를 통해 $ R(h) \leq R_n(D,h) + \eta \frac{(b-a)^2}{8} + \frac{1}{\eta n}\ln\frac{1}{\delta} $ 경계는 Hoeffding의 부등식을 회복하며, 이는 두 경계 간의 직접적인 연결을 보여준다.
• 손실이 유한한 경우 $ \ell(X,Y,h) \in [0,b] $, 확률 적어도 $ 1 - \delta $ 에서 다음 경계가 성립한다: $ \mathbb{E}_{h \sim \hat{\pi}}[R(h)] - R(h^*) \leq \mathbb{E}_{h \sim \hat{\pi}}[R_n(D,h)] - R_n(D,h^*) + \eta \phi(bv)\mathbb{E}[\ell'(X,Y,h)^2] + \frac{\alpha}{\eta n}\left(D(\hat{\pi} \| \pi) + \ln\frac{1}{\delta} + \ln(\frac{1}{2}\log_\alpha n + C)\right) $, $ \eta \in (0,v] $.
• 고정된 사전 $ \pi $ 에 대해 최적의 사후 분포 $ \hat{\pi}(h) \propto \pi(h) e^{-\eta n R_n(D,h)/\alpha} $ 는 경계 표현식을 최소화한다.
• 고정된 사후 $ \hat{\pi} $ 에 대해 최적의 국소화된 사전 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $ 는 경계를 최소화하며, $ \pi'(h) \propto \pi(h) e^{-\eta n R(h)/\alpha} $ 를 사용하여 더욱 정교하게 개선할 수 있다.
• 후보 및 사후 분포의 반복 최적화는 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $ 를 만족하는 고정점으로 수렴할 수 있으며, 존재성 및 유일성 문제는 여전히 열려 있다.