[논문 리뷰] Scalable Lévy Process Priors for Spectral Kernel Learning

Phillip A. Jang, Andrew E. Loeb외 2명|arXiv (Cornell University)|2018. 02. 02.

Gaussian Processes and Bayesian Inference참고 문헌 9인용 수 3

한 줄 요약

이 논문은 정상 공분산 함수의 불확실성을 모델링하기 위해 스펙트럼 밀도에 대한 Lévy 과정 사전분포를 사용하는 확장 가능한 베이지안 커널 학습 프레임워크를 제안한다. Lévy 과정의 대수적 구조를 활용하여, 구조적 커널 인터폴레이션을 통해 O(n) 학습과 O(1) 예측을 가능하게 하며, 희소성 유도 사전분포를 통해 모델 순서를 자동으로 추론하고, 실제 벤치마크에서 상태최저 수준의 장거리 외삽 성능과 잘 校정된 불확실성 추정치를 달성한다.

ABSTRACT

Gaussian processes are rich distributions over functions, with generalization properties determined by a kernel function. When used for long-range extrapolation, predictions are particularly sensitive to the choice of kernel parameters. It is therefore critical to account for kernel uncertainty in our predictive distributions. We propose a distribution over kernels formed by modelling a spectral mixture density with a Lévy process. The resulting distribution has support for all stationary covariances--including the popular RBF, periodic, and Matérn kernels--combined with inductive biases which enable automatic and data efficient learning, long-range extrapolation, and state of the art predictive performance. The proposed model also presents an approach to spectral regularization, as the Lévy process introduces a sparsity-inducing prior over mixture components, allowing automatic selection over model order and pruning of extraneous components. We exploit the algebraic structure of the proposed process for $\mathcal{O}(n)$ training and $\mathcal{O}(1)$ predictions. We perform extrapolations having reasonable uncertainty estimates on several benchmarks, show that the proposed model can recover flexible ground truth covariances and that it is robust to errors in initialization.

연구 동기 및 목표

• 스펙트럼 혼합 커널 학습에서의 불확실성 정량화 부족, 특히 장거리 외삽에 대해 해결한다.
• 스펙트럼 커널의 혼합 성분 수에 대한 수동 조정을 제거하기 위해 모델 순서에 대한 자동 추론을 가능하게 한다.
• 대규모 데이터셋에서 효율적인 학습과 예측을 지원하는 확장 가능하고 완전히 베이지안 기반의 커널 학습 프레임워크를 개발한다.
• Lévy 과정을 통해 희소성 유도 사전분포를 통합하여 잡음이나 여분의 커널 성분을 자동으로 제거한다.
• 원리적인 불확실성 전파를 갖는 개념적으로 해석 가능한 계층적 기능 공간 시각을 제공한다.

제안 방법

• 정상 커널의 스펙트럼 밀도를 Lévy 과정으로 모델링하여 스펙트럼 혼합 성분에 대한 비모수적 사전분포를 가능하게 한다.
• 모든 정상 공분산 함수를 지원하고 닫힌 형태의 커널 표현식을 보장하기 위해 가우시안 또는 라플라스 분포의 척도-위치 혼합을 기저 함수로 사용한다.
• 역전이 마르코프 체인 몬테카를로(RJ-MCMC)를 활용하여 성분 수와 그 매개변수를 동시에 추론하고, 차원이 다른 샘플링을 가능하게 한다.
• 구조적 커널 인터폴레이션(SKI)을 통합하여 O(n) 학습 및 O(1) 예측 복잡도를 달성하고, 대규모 데이터셋에 스케일링한다.
• Lévy 과정 사전분포를 희소성 유도 정규화 요소로 활용하여 여분 성분의 자동 제거를 촉진한다.
• 커널 함수에 대한 베이지안 모델 평균을 형성하여, 개선된 불확실성 校정을 반영하는 비정규, 두꺼운 尾를 가진 예측 분포를 도출한다.

실험 결과

연구 질문

• RQ1 스펙트럼 밀도에 대한 Lévy 과정 사전분포가 스펙트럼 커널 학습에서 혼합 성분 수에 대한 자동 추론을 가능하게 할 수 있는가?
• RQ2 계층적 베이지안 모델을 통한 커널 불확실성 통합이 고정 커널 접근법에 비해 장거리 외삽 성능을 어떻게 향상시키는가?
• RQ3 Lévy 과정 사전분포가 스펙트럼 정규화 요소로 작용하여 희소성 유도 및 잡음에 대한 과적합을 줄이는 데 어느 정도 기여하는가?
• RQ4 제안된 방법은 대규모 데이터셋에 대해 예측 정확도와 불확실성 校정을 유지하면서도 스케일링 가능한가?
• RQ5 이 방법은 나쁜 초기화에 얼마나 강건한가? 실제로 기준 스펙트럼 혼합 모델보다 뛰어난 성능을 보이는가?

주요 결과

• 모델은 장거리 외삽 작업에서 상태최저 수준의 예측 성능을 달성하였으며, 예측 구간이 테스트 데이터를 완전히 수용하는 반면, 고정 커널 스펙트럼 혼합 모델은 자주 과신하게 목표를 놓친다.
• Lévy 과정 사전분포는 혼합 성분에 희소성을 유도하여, 모델 순서의 수동 조정 없이 여분 성분을 자동으로 식별하고 제거한다.
• 10만 점의 자연적 음향 텍스처 데이터셋에서, 표준 CPU에서 1시간 이내에 학습이 완료되어 구조적 커널 인터폴레이션을 통한 O(n) 확장성의 성능을 입증했다.
• 커널 함수의 사후 샘플은 경험적 공분산 주변에 집중되어 있어, 진정한 기저 구조로의 효과적인 학습과 수렴을 보여준다.
• 이 방법은 초기화에 대해 강건하여 다양한 시작점에서도 일관된 성능을 보이며, 성분 매개변수의 초기화에 매우 민감한 기존 스펙트럼 혼합 모델과는 대조된다.
• 커널에 대한 베이지안 모델 평균은 두꺼운 꼬리 예측 분포를 생성하여, 특히 데이터가 제한된 영역에서 현실적인 불확실성을 반영한다.