[논문 리뷰] Large-Scale Cox Process Inference using Variational Fourier Features

St. John, James Hensman|arXiv (Cornell University)|2018. 04. 03.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 5

한 줄 요약

이 논문은 변분 푸리에 특징(VFF)를 사용하여 대규모 시공간 코크스 과정에 대한 확장 가능한 베이지안 추론 방법을 제안한다. 이는 3차원에서 100,000건 이상의 사건을 그리드 없이 효율적으로 모델링할 수 있도록 한다. VFF를 제곱근 링크 함수와 마테르니 커널과 조합함으로써, 단일 GPU에서 강건하고 고해상도의 추론을 달성하여 기존 방법의 노드 라인 및 계산 확장성의 한계를 극복한다.

ABSTRACT

Gaussian process modulated Poisson processes provide a flexible framework for modelling spatiotemporal point patterns. So far this had been restricted to one dimension, binning to a pre-determined grid, or small data sets of up to a few thousand data points. Here we introduce Cox process inference based on Fourier features. This sparse representation induces global rather than local constraints on the function space and is computationally efficient. This allows us to formulate a grid-free approximation that scales well with the number of data points and the size of the domain. We demonstrate that this allows MCMC approximations to the non-Gaussian posterior. We also find that, in practice, Fourier features have more consistent optimization behavior than previous approaches. Our approximate Bayesian method can fit over 100,000 events with complex spatiotemporal patterns in three dimensions on a single GPU.

연구 동기 및 목표

• 그리드 기반 또는 소규모 데이터 방법의 한계를 넘어서 대규모 시공간 점 과정에 대한 확장 가능한 그리드 없는 베이지안 추론을 가능하게 한다.
• 가우스 프로세스로 조절되는 포아송 과정에서 이중으로 비가역적인 우도의 계산 비용 문제를 해결한다.
• 제곱근 링크 함수로 인해 발생하는 노드 라인 아티팩트를 개선된 사전 분포 설정과 모델 설계를 통해 완화한다.
• 푸리에 특징을 활용해 변분 추론을 확장하여 시공간 영역에서 마테르니 가족 커널과 주기적 구조를 지원한다.
• 실제 데이터에 대해 복잡한 3차원 패턴을 보이는 사례, 예를 들어 포르투의 택시 승차 데이터(113,000건 이상의 사건 포함)에 대해 본 방법을 적용한다.

제안 방법

• 함수 공간의 전역적이고 희소한 근사를 가능하게 하기 위해 잠재 가우스 프로세스를 표현하기 위해 푸리에 특징(VFF)을 사용하는 변분 추론 프레임워크를 제안한다.
• 우도에서 비가역적 적분을 다룰 수 있도록 하기 위해 λ(·) = f(·)²의 제곱근 링크 함수를 채택하여 그리드 이산화가 필요 없도록 한다.
• f(·)가 0을 가로지날 때 발생하는 노드 라인 아티팩트를 줄이기 위해 상수 평균 함수를 도입함으로써 사후 분포의 안정성을 향상시킨다.
• 가우스 변분 추론 하에서 사후 레이트 λ(·)에 대한 닫힌 형태 근사를 유도하여 신뢰구간을 통한 불확실성 정량화를 가능하게 한다.
• VFF와 원활하게 통합 가능한 마테르니-5/2 스펙트럼 기반 주기적 커널을 제안하여 일일 주기성(예: 시간대별 패턴)을 모델링할 수 있도록 한다.
• 모델의 하이퍼파rameter에 대한 전체 베이지안 처리와 민감한 사후 탐색을 가능하게 하기 위해 변분 추론과 MCMC를 병행하여 사후 근사를 수행한다.

실험 결과

연구 질문

• RQ1 변분 푸리에 특징은 복잡한 패턴을 가진 대규모 시공간 코크스 과정에 대해 확장 가능하고 그리드 없는 추론을 가능하게 할 수 있는가?
• RQ2 제곱근 링크 함수로 인해 발생하는 노드 라인 — 사후 분포에서의 아티팩트 — 는 어떻게 완화할 수 있는가?
• RQ3 마테르니 가족 커널과 그 조합은 VFF 기반 추론 프레임워크에 효과적으로 통합될 수 있는가?
• RQ4 최적화기와 초기화 방법의 선택은 고차원 비정규 사후 분포에서 수렴성과 모델 품질에 어떤 영향을 미치는가?
• RQ5 본 방법은 3차원에서 100,000건 이상의 사건을 가진 실제 데이터 세트에 대해 정확하고 불확실성 인식 가능한 추론을 달성할 수 있는가?

주요 결과

• 본 방법은 포르투의 복잡한 3차원 시공간 패턴을 가진 택시 승차 사건 113,000건 이상을 성공적으로 모델링하였으며, 단일 테슬라 P100 GPU에서 24~28시간 내에 수렴하였다.
• VFF 기반 추론은 RBF + 유도점(RBF+IP) 대비 단일 기울기 단계당 30~40배 빠른 최적화를 달성하였으며, 50×50 VFF일 경우 전체 수렴이 50시간 이내에 이루어졌고, RBF+IP는 수렴하지 못한 채 48시간이 소요되었다.
• 상수 평균 함수의 포함으로 인해 노드 라인 아티팩트가 크게 감소하였고, 이는 모델 안정성 향상과 최적화 실패 감소에 기여하였다.
• 더 높은 ELBO 값을 가진 모델이 항상 더 좋은 우도를 제공하는 것은 아니었으며, 이는 ELBO만으로는 모델 품질의 우수한 지표가 되지 못하고, 교차검증 기반 수동 선택이 필요함을 시사한다.
• 시간대 주기성 모델링을 위해 주기적 커널을 사용함으로써 00:00와 24:00 사이의 연속성이 확보되었으며, 보조 결과에서 볼 수 있듯이 이와 같은 커널 없이선 이를 달성하지 못했다.
• 본 방법은 MCMC를 통해 전체 베이지안 추론과 함께 λ(·)의 닫힌 형태 신뢰구간을 통한 불확실성 정량화를 대규모 데이터에서도 가능하게 하였다.