[논문 리뷰] A Strongly Quasiconvex PAC-Bayesian Bound

Niklas Thiemann, Christian Igel외 2명|arXiv (Cornell University)|2016. 08. 19.

Machine Learning and Algorithms참고 문헌 21인용 수 20

한 줄 요약

이 논문은 무작위로 선택된 소형 서브샘플에서 훈련된 약한 학습기들을 사용하여 데이터에 의존하는 유한한 가설 공간을 구성함으로써, 교차검증과 경쟁 가능한 일반화 성능을 달성하면서도 훨씬 낮은 계산 비용을 제공하는 강력한 준연속성(quasiconvex)을 가지는 새로운 PAC-Bayesian 경계를 제안한다. 이 경계는 무작위로 선택된 소형 서브샘플에서 훈련된 약한 학습기들을 사용하여 데이터에 의존하는 유한한 가설 공간을 구성함으로써, 교차검증과 경쟁 가능한 일반화 성능를 달성하면서도 훨씬 낮은 계산 비용을 제공한다.

ABSTRACT

We propose a new PAC-Bayesian bound and a way of constructing a hypothesis space, so that the bound is convex in the posterior distribution and also convex in a trade-off parameter between empirical performance of the posterior distribution and its complexity. The complexity is measured by the Kullback-Leibler divergence to a prior. We derive an alternating procedure for minimizing the bound. We show that the bound can be rewritten as a one-dimensional function of the trade-off parameter and provide sufficient conditions under which the function has a single global minimum. When the conditions are satisfied the alternating minimization is guaranteed to converge to the global minimum of the bound. We provide experimental results demonstrating that rigorous minimization of the bound is competitive with cross-validation in tuning the trade-off between complexity and empirical performance. In all our experiments the trade-off turned to be quasiconvex even when the sufficient conditions were violated.

연구 동기 및 목표

• empirical 오차와 사전 분포에 대한 KL 발산 사이의 무작위 매개변수 λ에 대해 후행 분포 ρ와 함께 볼록인 PAC-Bayesian 경계를 개발하는 것.
• PAC-Bayesian 학습에서 복잡성-실험 오차 균형을 조정하기 위해 교차검증에 의존하지 않도록 하는 것.
• 소형 서브샘플을 사용하여 훈련된 약한 분류기들을 통해 계산 가능성을 보장하면서도 볼록성과 수렴 보장을 유지하는 유한한, 데이터에 의존하는 가설 공간을 구성하는 것.
• 경계의 λ에 대한 의존성이 강력한 준연속성(quasiconvex)이 되는 이론적 조건을 제공하여 최소화 절차의 전역 수렴을 보장하는 것.
• 이론적 조건이 위반되더라도 경계가 여전히 날카롭고 준연속성(quasiconvex)임을 실증적으로 검증하여 교차검증과 실질적으로 경쟁 가능한 성능을 보여주는 것.

제안 방법

• PAC-Bayes-kl 부등식의 완화된 형태인, 후행 분포 ρ와 무작위 매개변수 λ에 대해 볼록인 PAC-Bayes-λ 경계를 제안한다.
• ρ와 λ를 동시에 최적화하는 교차 최소화 알고리즘을 도출하였으며, 충분한 조건 하에서 수렴 보장을 제공한다.
• 훈련 데이터에서 크기가 r인 무작위 서브샘플을 사용해 m개의 약한 분류기를 훈련하고, 나머지 n−r개의 점에서 검증함으로써 유한한 가설 공간을 구성한다.
• 경계를 단일 변수 λ에 대한 함수 F(λ)로 재작성하여 λ에 대한 효율적 최소화를 가능하게 한다.
• F(λ)가 강력한 준연속성(quasiconvex)이 되는 충분한 조건(검증 손실의 범위와 모델 수 m에 대한 제약)을 도입하여 유일한 전역 최소값을 보장한다.
• 모든 실험에서 균일한 사전 분포를 사용하고 δ = 0.05로 설정하여 고확률 일반화 경계를 계산한다.

실험 결과

연구 질문

• RQ1 후행 분포 ρ와 무작위 매개변수 λ에 대해 볼록인 PAC-Bayesian 경계를 구성할 수 있는가? 이를 통해 전역 최적화가 가능할까?
• RQ2 경계를 나타내는 일변수 함수 F(λ)가 강력한 준연속성(quasiconvex)이 되는 조건는 무엇이며, 이는 전역 최소값으로의 수렴을 보장하는가?
• RQ3 유한하고 데이터에 의존하는 가설 공간을 구성할 수 있는가? 이 경우 경계의 볼록성과 최소화 보장이 유지되는가?
• RQ4 교차검증과 비교했을 때, 엄밀한 경계 최소화의 성능은 예측 정확도와 계산 비용 측면에서 어떻게 되는가?
• RQ5 이론적 충분 조건이 위반되더라도, 경계의 λ에 대한 의존성이 실질적으로 준연속성(quasiconvex)인가?

주요 결과

• 제안된 PAC-Bayes-λ 경계는 후행 분포 ρ와 무작위 매개변수 λ에 대해 볼록하며, 충분한 조건 하에서 전역 수렴 보장이 있는 효율적인 교차 최소화 절차를 가능하게 한다.
• 경계는 일변수 함수 F(λ)로 재작성될 수 있으며, 유도된 충분 조건 하에서 F(λ)는 강력한 준연속성(quasiconvex)이 되어 단일 전역 최소값을 보장하고 국소 최적해가 존재하지 않음을 보장한다.
• 모든 실험에서 이론적 조건이 위반되었음에도 불구하고 F(λ)는 준연속성(quasiconvex)이었으며, 이는 향후 연구에서 조건을 완화할 수 있음을 시사한다.
• 엄밀한 경계 최소화 절차는 교차검증으로 튜닝된 커널 SVM과 비슷한 예측 정확도를 달성하였지만, 훨씬 낮은 계산 비용을 기록하였다.
• 소형 서브샘플 크기(r ≈ d, 특성 수)와 많은 수의 모델(m ≈ n)일 경우, 이 방법은 표준 교차검증보다 계산 효율성이 뛰어나지 못한 것으로 나타났다.
• 실험에서 경계는 매우 날카로웠으며, ρ-가중 다수결정립의 일반화 오차 추정치는 무작위 분류기의 오차보다 최대 2배 이내로 높았다.