[논문 리뷰] Scalable Nonparametric Bayesian Inference on Point Processes with Gaussian Processes

Yves-Laurent Kom Samo, Stephen Roberts|arXiv (Cornell University)|2014. 10. 24.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 24

한 줄 요약

이 논문은 격자화 또는 잠재적 얇은 점을 사용하지 않고 가우시안 프로세스를 활용하여 포아송 점과정에 대한 확장 가능한 비모수 베이지안 추론을 위한 방법을 제안한다. 유도점들을 탐욕적 유틸리티 최적화 방식으로 선택함으로써, 복잡도가 O(nk²) (k ≪ n)로 감소하여 기존의 O(n³) 방법들보다 더 빠르고 정확하며 MCMC의 상관관계가 낮은 추론을 가능하게 하며, 합성 및 실질 데이터, 이전에는 다루기 어려웠던 대규모 데이터셋에서도 성능을 발휘한다.

ABSTRACT

In this paper we propose the first non-parametric Bayesian model using Gaussian Processes to make inference on Poisson Point Processes without resorting to gridding the domain or to introducing latent thinning points. Unlike competing models that scale cubically and have a squared memory requirement in the number of data points, our model has a linear complexity and memory requirement. We propose an MCMC sampler and show that our model is faster, more accurate and generates less correlated samples than competing models on both synthetic and real-life data. Finally, we show that our model easily handles data sizes not considered thus far by alternate approaches.

연구 동기 및 목표

• 데이터 크기에 따라 세제곱으로 증가하는 기존 비모수 베이지안 방법의 계산 불가능성 문제를 해결한다.
• 영역의 격자화 또는 잠재적 얇은 점에 의존하는 것을 제거하여 근사 오차와 계산 오버헤드를 줄인다.
• 완전한 베이지안 처리를 유지하면서도 복잡도를 O(nk²)로 감소시킨 확장 가능한 정확한 MCMC 추론 프레임워크를 개발한다 (k ≪ n).
• 이전에는 불가능했던 대규모 점과정 데이터—특히 고차원 또는 희소 데이터—에 대한 추론을 가능하게 한다.
• 최적의 유도점 선택을 통해 MCMC 샘플링 효율성을 향상시키고, 샘플 상관관계를 줄이며 수렴 속도를 가속화한다.

제안 방법

• 강한 긍정성과 부드러움을 보장하는 가우시안 프로세스의 양의 변환으로 강도 함수를 모델링하는 비모수 베이지안 모델을 제안한다.
• 후행 분포 공분산 행렬의 트레이스를 최대화하는 새로운 유틸리티 함수를 도입하여, 각 점당 최적의 정보 획득을 보장한다.
• 데이터에서 k개의 유도점을 반복적으로 선택하는 탐욕 알고리즘을 설계하였으며, α → 0일 때 이론적 최대 유틸리티 w∞ = (1/N)ΣTr(Σᴰᴰ*(θᵢ))에 수렴함을 증명하였다.
• 조건부 GP 성질을 활용해 계산 가능한 MCMC 샘플러를 유도하였으며, 강도 함수의 후행분포를 데이터와 선택된 유도점들만을 사용해 갱신한다.
• Cholesky 기반 갱신을 통해 조건부 GP 프레임워크를 활용하여 후행 공분산을 갱신함으로써 수치적 안정성과 각 갱신당 O(k²)의 복잡도를 확보한다.
• 강도 함수의 전체 연합 분포 (λ(s₁), ..., λ(sₙ), ∫λ(s)ds)를 유지함으로써 근사 없이 정확한 방법을 유지한다.

실험 결과

연구 질문

• RQ1 데이터 포인트 수에 대해 복잡도가 세제곱 이하로 감소하는 정확한 비모수 베이지안 추론을 포아송 점과정에 대해 달성할 수 있는가?
• RQ2 격자화 또는 잠재적 얇은 점이 필요 없이도 정확한 추론과 확장성을 유지할 수 있는가?
• RQ3 후행 공분산의 트레이스를 기반으로 한 탐욕적 유도점 선택이 기존 방법보다 더 빠른 수렴과 낮은 MCMC 상관관계를 제공하는가?
• RQ4 제안된 방법은 이전에 O(n³) 방법으로는 다루기 어려웠던, 특히 고차원 또는 희소성 있는 경우에도 확장 가능한가?
• RQ5 유용성 기반의 유도점 선택 전략은 이론적 최대 정보 획득에 수렴하는가? 그리고 그 수렴 속도는 어떠한가?

주요 결과

• 제안된 방법은 k ≪ n 조건 하에 O(nk²)의 계산 복잡도를 달성하여 O(n³) 대안 대비 시간과 메모리 비용을 크게 절감한다.
• MCMC 샘플러는 경쟁 방법들보다 상당히 낮은 자기상관을 생성하여 유효 샘플 수를 늘리고 수렴 속도를 향상시킨다.
• 합성 및 실질 데이터 모두에서 강도 함수 추정 정확도가 높고, 더 나은 주변 가능도 근사치를 제공한다.
• 기존 방법으로는 다루기 어려웠던 고차원 및 희소 점과정 데이터셋을 성공적으로 처리한다.
• 탐욕적 유도점 선택 알고리즘은 이론적 최대 유틸리티 w∞로 선형 수렴하며, 수렴 속도는 1 − 1/n이다. 이는 빠른 정보 획득을 보장한다.
• α → 0일 때 유틸리티 함수의 극한이 (1/N)ΣTr(Σᴰᴰ*(θᵢ))와 동일함을 증명하여, 정보 획득 측면에서 점차적으로 최적화됨을 확인한다.