[논문 리뷰] Optimality of Poisson processes intensity learning with Gaussian processes

Alisa Kirichenko, Harry van Zanten|arXiv (Cornell University)|2014. 09. 17.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 12

한 줄 요약

이 논문은 이질적 푸아송 과정의 강도를 가우시안 프로세스를 사용하여 학습하기 위한 시그모이드 가우시안 코크스 프로세스(SGCP)의 이론적 최적성을 확립한다. 적절하게 조정된 하이퍼-프리오르 분포를 사용할 경우, 모든 부드러움 수준 β > 0에서 최소최대 최적 수렴 속도를 달성하며, 이는 로그 인자까지의 오차 범위 내에서 이루어진다. 이로 인해 강도 함수의 알려지지 않은 정규성에 자동으로 적응할 수 있다.

ABSTRACT

In this paper we provide theoretical support for the so-called "Sigmoidal Gaussian Cox Process" approach to learning the intensity of an inhomogeneous Poisson process on a $d$-dimensional domain. This method was proposed by Adams, Murray and MacKay (ICML, 2009), who developed a tractable computational approach and showed in simulation and real data experiments that it can work quite satisfactorily. The results presented in the present paper provide theoretical underpinning of the method. In particular, we show how to tune the priors on the hyper parameters of the model in order for the procedure to automatically adapt to the degree of smoothness of the unknown intensity and to achieve optimal convergence rates.

연구 동기 및 목표

• 아담스 등(2009)이 제안한 비모수 베이지안 강도 추정을 위한 시그모이드 가우시안 코크스 프로세스(SGCP) 방법에 대한 이론적 근거를 제공하는 것.
• 진정한 강도 함수의 알려지지 않은 부드러움 수준 β에 관계없이, SGCP 접근법이 최소최대 프레임워크 하에서 최적의 사후 수렴 속도를 달성함을 입증하는 것.
• SGCP 모델에서 길이 척도와 승수 상수에 대한 하이퍼-프리오르를 어떻게 조정해야 모든 β > 0에서 속도 적응 성능을 확보할 수 있는지 규명하는 것.
• 유한 차원 근사 없이 완전히 비모수적이며 계산적으로 실현 가능한 방법을 분석함으로써, 점과정에 대한 비모수 베이지안 추론에 대한 이론적 이해를 확장하는 것.

제안 방법

• 이 방법은 강도가 가우시안 프로세스(GP)의 시그모이드 변환으로 모델링되는 계층적 베이지안 모델을 사용하며, GP의 공분산 구조는 길이 척도 하이퍼-파rameter에 의해 결정된다.
• 무작위 승수 상수가 도입되며, 길이 척도와 승수 상수 모두 독립적인 하이퍼-프리오르를 부여함으로써 진정한 강도 함수의 알려지지 않은 부드러움 수준 β에 자동으로 적응할 수 있도록 한다.
• 이론적 분석은 반데르바르트와 반잔텐(2008a, 2009)이 개발한 가우시안 및 조건부 가우시안 사전분포에 대한 사후 수렴 속도 프레임워크를 기반으로 한다.
• 이 분석은 1차원 푸아송 과정에 대해 벨리츠러 등(2013)의 결과를 확장한 비표준 사전분포 구성(즉, GP의 무작위 스케일링과 링크 함수(시그모이드) 포함)를 필요로 한다.
• 핵심 기술 도구로는 진정한 강도의 이웃 영역에서 사후 질량이 벗어나지 않을 확률에 대한 경계가 포함되며, 이는 가우시안 프로세스와 하이퍼-프리오르 분포의 농도 부등식 및 尾부 경계를 통해 유도된다.
• 증명은 하이퍼-프리오르가 적절히 조정된 경우, 사후가 진정한 강도 주위로 최소최대 속도 n^{-β/(d+2β)}까지 수렴함을 입증한다. 이는 로그 인자까지의 오차 범위 내에서 이루어진다.

실험 결과

연구 질문

• RQ1 이질적 푸아송 과정 강도 추정에서 시그모이드 가우시안 코크스 프로세스(SGCP)는 모든 부드러움 수준 β > 0에서 최적의 사후 수렴 속도를 달성할 수 있는가?
• RQ2 길이 척도와 승수 상수에 대한 하이퍼-프리오르는 어떻게 조정해야 SGCP 방법이 알려지지 않은 부드러움 수준 β에 자동으로 적응할 수 있는가?
• RQ3 β가 알려지지 않은 상태에서도 SGCP 방법이 최소최대 최적 속도 n^{-β/(d+2eta)}를 달성하는가?
• RQ4 사후 질량이 진정한 강도 함수 주위로 최적의 속도에서 집중되도록 보장하기 위한 사전분포에 대한 이론적 조건은 무엇인가?

주요 결과

• 하이퍼-프리오르가 적절히 조정된 경우, SGCP 방법은 모든 β > 0에 대해 최소최대 속도 n^{-β/(d+2β)}까지 로그 인자 오차 범위 내에서 사후 수렴을 달성한다.
• 최적의 조정은 GP와 승수 상수에 대해 각각 n^{1/(2β+d)} 및 n^{d/(2(2β+d))} 비례하는 속도로 하이퍼-프리오르 척도 파rameter를 감소시키는 것으로 이루어진다.
• 이 방법은 완전히 속도 적응 가능하다: 모델 설계 시 β를 알지 못하더라도 진정한 강도 함수의 알려지지 않은 부드러움 수준 β에 자동으로 적응한다.
• 수렴 속도는 최소최대 의미에서 최적이다. 이는 β-부드러운 강도 함수에 대해 어떤 절차도 달성할 수 있는 최선의 속도와 일치한다.
• 이론적 분석은 β가 알려지지 않은 상태에서도 진정한 강도의 진정한 정규성에 적응함으로써 과적합과 과소적합을 피할 수 있음을 확인한다.
• 이 결과는 공분산에 대해 약한 조건(예: 제곱 지수형)과 시그모이드 링크 함수를 가정하더라도 성립하며, 일부 사전분포 선택에 대한 유연성이 존재한다.