[논문 리뷰] Fast and scalable non-parametric Bayesian inference for Poisson point processes

Shota Gugushvili, Frank van der Meulen외 2명|arXiv (Cornell University)|2018. 04. 10.

Statistical Methods and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 [0,T]에서 비homogeneous한 포아송 점과정의 강도 함수를 추정하기 위한 두 가지 빠르고 확장 가능한 비모수 베이지안 방법을 제안한다. 첫 번째 방법은 N개의 박자로 나누어진 구간에서 조각별로 일정한 강도에 대해 독립적인 감마 사전분포를 사용하여 폐형 해를 갖는 사후분포를 도출한다. 두 번째 방법은 감마 마코프 체인 사전분포를 사용하여 게비스 샘플링을 통한 MCMC 추론을 가능하게 한다. 주요 기여는 h-홀더 연속 강도 함수에 대해 이론적으로 최적의 속도로 사후분포 수축을 보장하는 것으로, 두 번째 방법은 박자 수 N의 선택에 대해 더 뛰어난 내성성을 보인다.

ABSTRACT

We study the problem of non-parametric Bayesian estimation of the intensity function of a Poisson point process. The observations are $n$ independent realisations of a Poisson point process on the interval $[0,T]$. We propose two related approaches. In both approaches we model the intensity function as piecewise constant on $N$ bins forming a partition of the interval $[0,T]$. In the first approach the coefficients of the intensity function are assigned independent gamma priors, leading to a closed form posterior distribution. On the theoretical side, we prove that as $n ightarrow\infty,$ the posterior asymptotically concentrates around the "true", data-generating intensity function at an optimal rate for $h$-Hölder regular intensity functions ($0 < h\leq 1$). In the second approach we employ a gamma Markov chain prior on the coefficients of the intensity function. The posterior distribution is no longer available in closed form, but inference can be performed using a straightforward version of the Gibbs sampler. Both approaches scale well with sample size, but the second is much less sensitive to the choice of $N$. Practical performance of our methods is first demonstrated via synthetic data examples. We compare our second method with other existing approaches on the UK coal mining disasters data. Furthermore, we apply it to the US mass shootings data and Donald Trump's Twitter data.

연구 동기 및 목표

• 포아송 점과정의 강도 함수를 추정하기 위한 빠르고 확장 가능한 비모수 베이지안 방법을 개발한다.
• h-홀더 연속 강도 함수에 대해 사후 집중 속도의 이론적 최적성을 확보한다.
• 기존 방법에 비해 박자 수 N의 선택에 대해 더 뛰어난 내성성을 향상시킨다.
• 특히 대규모 데이터셋에 적합한 효율적인 MCMC 알고리즘을 통해 실용적인 추론을 가능하게 한다.

제안 방법

• 구간 [0,T]를 N개의 박자로 나누어 강도 함수를 조각별로 일정하게 모델링하고, 계수에 독립적인 감마 사전분포를 부여하여 폐형 사후분포 계산을 가능하게 한다.
• 강도 계수에 감마 마코프 체인 사전분포를 사용하여 부드러움을 유도하고, 단순한 게비스 샘플러를 통한 MCMC 샘플링을 가능하게 한다.
• 다양한 박자 수 N을 갖는 모델을 탐색하기 위해 가역적 점프 MCMC 알고리즘을 유도하며, N에 대한 사전분포와 국소적 제안을 통한 모델 이동을 사용한다.
• 감마 마코프 체인 모델에 대해 메트로폴리스-내-게비스 샘플러를 구현하며, 스무딩 매개변수 α와 박자 계수에 대한 사전분포를 부여한다.
• 가장자리 우도 근사와 추적도를 사용하여 가역적 점프 MCMC에서의 모델 선택과 수렴성을 평가한다.
• 합성 데이터, 영국 석탄 광산 사고, 미국의 대량 총격 사건, 도널드 트럼프의 트위터 데이터에 두 방법을 적용하여 실용적 성능을 시연한다.

실험 결과

연구 질문

• RQ1 포아송 점과정 강도 함수에 대해 빠르고 확장 가능한 비모수 베이지안 추론을 달성할 수 있는가?
• RQ2 조각별 일정 강도 계수에 독립적인 감마 사전분포를 사용할 경우 폐형 사후분포가 도출되고 최적의 사후 수축이 이루어지는가?
• RQ3 감마 마코프 체인 사전분포는 독립적인 감마 사전분포에 비해 박자 수 N의 선택에 대해 더 뛰어난 내성성을 보이는가?
• RQ4 복잡한 강도 패턴(예: 불연속성 또는 진동)을 보이는 실제 세계 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ5 N에 대해 다양한 사전분포를 사용할 경우, 가역적 점프 MCMC에서 가장자리 우도와 사후 모델 인덱스 분포의 행동은 어떠한가?

주요 결과

• 독립적인 감마 사전분포 방법은 폐형 사후분포를 도출하여 빠른 계산과 h-홀더 연속 강도 함수에 대해 이론적으로 최적의 속도로 사후분포 수축을 가능하게 한다.
• 감마 마코프 체인 사전분포 방법은 폐형 사후분포를 도출하지 못하지만, 게비스 샘플링을 통한 효율적인 추론이 가능하며, N의 선택에 대해 훨씬 덜 민감하다.
• 두 방법 모두 h-홀더 연속 강도 함수에 대해 최적의 속도로 사후분포 수축을 달성한다 (0 < h ≤ 1), 이는 이론적 최적성을 확인한다.
• 합성 예제에서 감마 마코프 체인 사전분포는 더 부드러운 시각적 사후 실현을 생성하고, 불연속성과 같은 복잡한 강도 패턴을 더 잘 포착한다.
• 영국 석탄 광산 사고 데이터에서 두 번째 방법은 기존 방법에 비해 경계 영역과 고변동 영역에서 뛰어난 성능을 보였다.
• 수치 실험 결과, 독립적인 감마 사전분포를 사용할 경우 가역적 점프 MCMC에서 가장자리 로그우도가 다수의 국소 최대값을 가지며, 이는 모델 공간 탐색의 곤경을 시사한다.