[논문 리뷰] Fast Bayesian Intensity Estimation for the Permanental Process

Christian Walder, Adrian N. Bishop|arXiv (Cornell University)|2017. 01. 13.

Gaussian Processes and Bayesian Inference인용 수 11

한 줄 요약

이 논문은 강도의 제곱근에 고정된 가우시안 프로세스 사전분포를 가진 코크스 과정인 퍼머낼텐셜 프로세스에 대한 빠른 베이지안 추론 방법을 제안한다. 재생 커널 힐버트 공간 이론과 라플라스 근사법을 활용하여, 이전 방법들에 비해 수개의 주기 빠른 계산을 달성하면서도 예측 정확도는 유사하게 유지되며, 유도점 기반 접근법에 비해 더 단순하고 효율적인 대안을 제공한다.

ABSTRACT

The Cox process is a stochastic process which generalises the Poisson process by letting the underlying intensity function itself be a stochastic process. In this paper we present a fast Bayesian inference scheme for the permanental process, a Cox process under which the square root of the intensity is a Gaussian process. In particular we exploit connections with reproducing kernel Hilbert spaces, to derive efficient approximate Bayesian inference algorithms based on the Laplace approximation to the predictive distribution and marginal likelihood. We obtain a simple algorithm which we apply to toy and real-world problems, obtaining orders of magnitude speed improvements over previous work.

연구 동기 및 목표

• 강도의 제곱근에 GP 분포를 가진 코크스 과정인 퍼머낼텐셜 프로세스에 대한 계산적으로 효율적인 베이지안 추론 체계를 개발한다.
• 기존 방법들, 특히 MCMC나 유도점에 의존하는 방법들에 기인한 계산 부담을 완화한다.
• 플랙스만 등(2017)이 제안한 정규화된 최대우도 추정 방법의 확률적 일반화를 제공한다.
• 제안된 방법이 최신 기법들과 비교해 유사한 예측 성능을 보이며, 동시에 훨씬 더 짧은 피팅 시간을 확보할 수 있음을 보여준다.

제안 방법

• 후행 예측 분포와 우도의 라플라스 근사를 사용하여 효율적인 베이지안 추론을 수행한다.
• 재생 커널 힐버트 공간(RKHS) 이론을 활용해 후행 분포의 폐쇄형 근사를 유도함으로써, 유도점이 필요 없도록 한다.
• GP 사전분포를 강도 함수에 연결하기 위해 제곱링크 함수 g(z) = ½z² 기반의 정규화된 최대우도 추정기를 적용한다.
• 재생 정리(representer theorem)를 활용해 RKHS H(k, Ω, µ) 내에서 우도와 예측 분포를 유도하며, 이는 L² 및 RKHS 노름을 모두 포함한다.
• 커널의 머서 전개를 사용하여 정규화된 커널 ˜k(x, y) = Σ (1 / (1 + λᵢ⁻¹)) φᵢ(x)φᵢ(y)를 표현함으로써 효율적인 계산을 가능하게 한다.
• 유형-II 최대우도를 사용한 경험 베이즈 방법을 통해 공분산 함수 내 하이퍼파rameter a와 b를 조정한다.

실험 결과

연구 질문

• RQ1 유도점이나 MCMC에 의존하지 않고도, 퍼머낼텐셜 프로세스에 대한 빠르고 확장 가능한 베이지안 추론 방법을 개발할 수 있는가?
• RQ2 RKHS 프레임워크 내에서 제안된 라플라스 근사는 기존의 변분 및 정규화 방법과 비교해 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 우도의 정규화 항 V(k, Ω, µ)는 데이터 적합도와 모델 복잡도 간 균형을 맞추는 데 어떤 역할을 하는가?
• RQ4 제안된 방법은 합성 및 실제 포인트 프로세스 데이터 모두에서 경쟁 가능한 예측 성능를 달성하면서도, 이전 방법들보다 훨씬 더 빠른 속도를 확보할 수 있는가?

주요 결과

• 제안된 LBPP-G 방법은 VBPP 및 KS+EC에 비해 수개의 주기 빠른 피팅 시간을 확보하였으며, 시험용 및 실제 데이터셋 모두에서 유사한 예측 성능를 보였다.
• 레드우드 데이터셋에서 LBPP-Cos는 LBPP-G보다 예측 로그우도 측면에서 略적으로 뛰어난 성능를 보였으며, 이는余弦 기저 함수의 잠재적 이점이 있음을 시사한다.
• 모든 데이터셋에서 일관된 예측 정확도를 보였으며, 석탄 광산 사고, 레드우드 나무 위치, 근육 섬유의 캐볼라 등 다양한 유형의 데이터에 적용되었다.
• 로그 우도의 분해를 통해 정규화 항 V(k, Ω, µ)가 데이터 항 h와의 균형을 맞추며 과적합을 효과적으로 방지함을 확인하였다.
• 실제 데이터에서 하이퍼파rameter (a, b)를 유형-II 최대우도를 사용한 경험 베이즈 절차로 조정함으로써 안정적이고 잘 校정된 결과를 도출하였다.
• 유도점이 없고 단순한 구조를 지녀, 변분 방법에 기반한 유도 변수 기반 접근법에 비해 구현 및 유지보수가 더 용이하다.