[논문 리뷰] Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds

David Reeb, Andreas Doerr외 2명|arXiv (Cornell University)|2018. 10. 29.

Gaussian Processes and Bayesian Inference인용 수 21

한 줄 요약

이 논문은 우도 최대화 대신 PAC-Bayesian 일반화 경계를 직접 최소화하여 가우시안 프로세스(GPs) 및 그 희소 근사법을 훈련시키는 새로운 방법을 제안한다. 이 방법은 일반화 보장을 훨씬 더 날카롭고 강건하게 만들어주며, 특히 유도점 수가 증가할수록 기존 표준 GP 방법보다 일반화 경계를 두 배 이상 향상시킨다. 이는 회귀 벤치마크에서 뛰어난 성능을 발휘한다.

ABSTRACT

Gaussian Processes (GPs) are a generic modelling tool for supervised learning. While they have been successfully applied on large datasets, their use in safety-critical applications is hindered by the lack of good performance guarantees. To this end, we propose a method to learn GPs and their sparse approximations by directly optimizing a PAC-Bayesian bound on their generalization performance, instead of maximizing the marginal likelihood. Besides its theoretical appeal, we find in our evaluation that our learning method is robust and yields significantly better generalization guarantees than other common GP approaches on several regression benchmark datasets.

연구 동기 및 목표

• 안전 중심 응용 분야에서 가우시안 프로세스에 대한 엄밀한 성능 보장이 부족한 문제를 해결하기 위해.
• 많은 초모수를 가진 경우 과적합을 유도할 수 있는 우도 최대화의 한계를 극복하기 위해.
• 회귀 설정에서 일반화 경계를 직접 최적화할 수 있도록 하여, 이 경계가 덜 탐색된 분야에 응용하기 위해.
• 희소 GP 근사의 계산 효율성과 이론적으로 탄탄한 성능 보장 간의 조합을 가능하게 하기 위해.
• PAC-Bayesian 프레임워크 내에서 KL 발산을 분석적으로 계산함으로써 더 날카운, 분포에 종속되지 않은 일반화 경계를 도출하는 훈련 목표를 개발하기 위해.

제안 방법

• 해당 방법은 진짜 위험 $ R(Q) $ 에 대한 PAC-Bayesian 상한 $ B(Q) $ 를 최소화하며, 분포에 종속되지 않은 보장을 확보하기 위해 유한한 손실 함수를 사용한다.
• GP 사후분포와 사전분포 간의 KL 발산의 해석적 취급 가능성을 활용하여, 경계 내 페널티 항을 정확히 계산할 수 있다.
• 매개변수 유형 간의 차이를 구분한다: 오직 초모수, 유도 입력, 자유형 매개변수만이 KL 페널티에 기여하며, 관측 노이즈는 기여하지 않는다.
• 더 날카운 상한을 제공하기 위해, 흐린 대안들인 핀스커 부등식보다는 역 이진 KL 발산을 사용한다.
• 완전 및 희소 GP 모델(DTC, FITC, VFE)에 적용되어, 이론적 보장을 갖춘 PAC-Bayes 학습에 적합하게 한다.
• 훈련 목표는 종단 간 최적화되며, 초모수와 유도점이 함께 업데이트되어 일반화 경계를 최소화하도록 한다.

실험 결과

연구 질문

• RQ1 PAC-Bayesian 경계가 단지 평가용으로만 사용되는 것이 아니라, 회귀에서 가우시안 프로세스를 훈련시키는 데 효과적으로 활용될 수 있는가?
• RQ2 PAC-Bayesian 경계를 최소화하는 것이 표준 GP 훈련 방법인 우도 최대화보다 더 나은 일반화 성능을 이끌어내는가?
• RQ3 이 방법은 데이터셋 크기와 유도점 수에 따라 어떻게 스케일링되는가?
• RQ4 기존 GP 접근 방식보다 더 날카우며 강건한 일반화 경계를 제공할 수 있는가, 특히 고차원 또는 복잡한 회귀 과제에서?
• RQ5 핀스커 부등식과 같은 더 흐린 경계보다 역 이진 KL 발산을 사용할 경우 경계의 날카움이 향상되는가?

주요 결과

• 제안된 방법, kl-PAC-SGP 및 sqrt-PAC-SGP는 표준 GP 방법보다 훨씬 더 날카운 일반화 위험 경계를 제공하며, 종종 두 배 이상 향상된다.
• 유도점 수가 증가할수록 유일하게 개선된 일반화 보장을 보여주는 것은 제안된 방법 뿐이며, 이는 모델 용량과 경계 날카움 간의 직접적인 연관성을 시사한다.
• 표준 GP 방법과 동일한 계산 스케일링을 유지하면서도 강건한 최적화 행동을 달성하여 대규모 데이터셋에 적용 가능하다.
• kin40k 및 sarcos 데이터셋에서 각각 테스트 MSE 값이 0.035와 0.010을 기록했으며, 이에 해당하는 위험 경계는 0.04 이하로 유지되어 VFE와 FITC를 능가했다.
• 제안된 방법에서는 경계 내 KL 발산 항이 일관되게 낮게 유지되었으며, 이는 사전과 사후 분포 간의 더 나은 일치를 나타낸다.
• 학습된 관측 노이즈 매개변수 $ \sigma_n^2 $ 는 합성 환경에서 진짜 노이즈 수준과 유사한 값을 보였으며, 이는 신뢰할 수 있는 불확실성 정량화를 시사한다.