[논문 리뷰] Nonparametric Bayesian Density Modeling with Gaussian Processes

Ryan P. Adams, Iain Murray외 1명|ArXiv.org|2009. 12. 24.

Bayesian Methods and Mixture Models참고 문헌 47인용 수 7

한 줄 요약

이 논문은 비모수 베이지안 방법인 가우시안 프로세스 밀도 샘플러(GPDS)를 소개한다. 이 방법은 잠재 함수에 가우시안 프로세스 사전분포를 두고, 기본 밀도와 유계 함수 Φ를 포함한 변환을 통해 유효한 확률 밀도 함수를 생성한다. 이 방법은 유한 차원 근사가 필요 없이 정확한 교환 가능 데이터 샘플링과 MCMC를 통한 사후 추론을 가능하게 하여, 밀도 함수와 초모수에 대한 완전한 베이지안 추론을 가능하게 한다.

ABSTRACT

We present the Gaussian process density sampler (GPDS), an exchangeable generative model for use in nonparametric Bayesian density estimation. Samples drawn from the GPDS are consistent with exact, independent samples from a distribution defined by a density that is a transformation of a function drawn from a Gaussian process prior. Our formulation allows us to infer an unknown density from data using Markov chain Monte Carlo, which gives samples from the posterior distribution over density functions and from the predictive distribution on data space. We describe two such MCMC methods. Both methods also allow inference of the hyperparameters of the Gaussian process.

연구 동기 및 목표

• 정확하고 교환 가능한 데이터 생성이 가능한 비모수 베이지안 사전분포를 개발하는 것.
• 가우시안 프로세스 사전분포는 본질적으로 비정규화되어 있고 음수 값을 가질 수 있기 때문에, 이를 정규화된 유효한 밀도로 변환하는 문제를 해결하는 것.
• 마르코프 체인 몬테카를로(MCMC) 방법을 사용하여 밀도 함수와 그 초모수에 대한 사후 추론을 가능하게 하는 것.
• 정규화 상수의 계산이 불가능한 문제를 해결하기 위해, 분할 함수의 직접 계산을 피하는 생성 모델을 구성하는 것.
• 기존의 유한 차원 근사가 필요한 방법들(예: 로지스틱 가우시안 프로세스)에 대한 민감도가 낮고 유연한 대안을 제공하는 것.

제안 방법

• 초모수 θ로 파arameterized된 평균 m(x)과 공분산 함수 C(x, x')를 가진 가우시안 프로세스 사전분포로부터 잠재 함수 g(x)를 정의한다.
• f(x) = 1/𝑍_𝜋[𝑔] × Φ(g(x)) × 𝜋(x | ψ) 형태의 밀도를 구성한다. 여기서 𝜋(x | ψ)는 기본 밀도이고, Φ: ℝ → (0,1)은 비음수성을 보장한다.
• 정규화 상수 𝑍_𝜋[𝑔] = ∫ Φ(g(x')) 𝜋(x' | ψ) dx' 를 정의하며, 이는 잠재 함수 𝑔에 대한 기능으로 간주되어 추론 중에 직접 평가되지 않는다.
• 두 가지 MCMC 알고리즘을 사용한다: 하나는 교환 샘플링 기반이고, 다른 하나는 잠재 생성 역사를 추론하는 기반이다. 이 두 알고리즘은 모두 𝑔, θ, ψ에 대한 공동 사후 추론을 가능하게 한다.
• 데이터 포인트 𝑥₀에서 g(𝑥₀) = 0 으로 고정하는 핀닝 메커니즘을 도입하여 샘플링 효율성을 높이고 사전분포의 중복을 줄인다.
• g(x)의 전체 함수 형태를 연속적인 랜덤 함수로 간주함으로써, 무한 차원 함수 공간에 대한 비모수 추론을 가능하게 하여, 유한 차원 근사가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 유한 차원 절단 없이, 가우시안 프로세스 사전분포를 사용하여 유효하고 정규화된 확률 밀도 함수를 어떻게 구성할 수 있는가?
• RQ2 비모수 함수 사전분포에서 유도된 밀도로부터 정확하고 교환 가능한 데이터 샘플을 생성할 수 있는가?
• RQ3 가우시안 프로세스 기반 밀도 사전분포의 정규화 상수가 추론 과정에서 어떻게 처리될 수 있는가?
• RQ4 잠재 함수, 밀도 초모수, 기본 밀도 모수에 대한 공동 사후 추론을 가능하게 하는 MCMC 전략은 무엇인가?
• RQ5 제안된 방법은 로지스틱 가우시안 프로세스의 유한 차원 근사와 비교해 성능과 확장성에서 어떻게 다른가?

주요 결과

• GPDS는 유계 함수 Φ와 기본 밀도 𝜋(x | ψ)를 통해 가우시안 프로세스를 변환함으로써, 정규화와 비음수성을 보장하는 유효한 비모수 밀도 함수 사전분포를 제공한다.
• 이 방법은 표준 로지스틱 가우시안 프로세스 사전분포에서 정규화 상수가 계산이 불가능하기 때문에 불가능한 정확한 교환 가능한 데이터 샘플링을 가능하게 한다.
• 교환 샘플링과 잠재 역사 추론 기반의 두 가지 MCMC 알고리즘이 제안되었으며, 이는 모두 전체 함수 공간과 초모수에 대한 사후 분포에서 샘플링이 가능하다.
• 정규화 상수 𝑍_𝜋[𝑔]는 명시적으로 계산되지 않으며, 대신 비정규화된 밀도를 직접 다루는 생성 모델을 통해 평가를 피한다.
• 데이터 포인트 𝑥₀에서 g(𝑥₀) = 0 으로 고정하는 핀닝 기법은 샘플링 효율성을 높이고 사전분포의 중복을 줄인다.
• 격자 기반 적분이나 기저 전개 등 유한 차원 근사 기법의 한계를 피함으로써, 고차원에서의 성능 저하와 명시적 절단이 필요한 문제를 해결한다.