[논문 리뷰] Efficient Bayesian Inference for a Gaussian Process Density Model

Christian Donner, Manfred Opper|arXiv (Cornell University)|2018. 05. 29.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 7

한 줄 요약

이 논문은 비모수적 밀도 모델에 기반한 가우시안 프로세스(GP) 모델에 대해 효율적인 베이지안 추론 프레임워크를 제안한다. 이는 잠재적 Pólya–Gamma 변수와 marked Poisson process를 도입하여 우도를 GP 사전분포와 공액으로 만듦으로써 이루어진다. 결과적으로 모델은 정확한 깁스 샘플링과 희소 GP 기법을 활용한 빠른 변분 베이즈 근사법을 모두 가능하게 하여, 이전 MCMC 방법에 비해 수천 개의 데이터 포인트를 포함하는 데이터셋에서의 확장성에 크게 기여한다.

ABSTRACT

We reconsider a nonparametric density model based on Gaussian processes. By augmenting the model with latent Pólya--Gamma random variables and a latent marked Poisson process we obtain a new likelihood which is conjugate to the model's Gaussian process prior. The augmented posterior allows for efficient inference by Gibbs sampling and an approximate variational mean field approach. For the latter we utilise sparse GP approximations to tackle the infinite dimensionality of the problem. The performance of both algorithms and comparisons with other density estimators are demonstrated on artificial and real datasets with up to several thousand data points.

연구 동기 및 목표

• 비모수적 가우시안 프로세스 밀도 모델에서 비공액 우도와 무한차원 함수 공간으로 인해 발생하는 효율적이지 않은 베이지안 추론 문제를 해결한다.
• 표준 MCMC 방법(예: 메트로폴리스–하스팅스)의 계산 불가능성을 해결하기 위해 잠재 변수 보정을 통한 공액 우도 구조를 도입한다.
• 대규모 데이터셋을 처리하면서도 비모수적 유연성을 유지하는 확장 가능한 추론 알고리즘(특히 깁스 샘플링과 변분 베이즈)을 개발한다.
• 학습된 기저 측도(예: 혼합 정규분포)와 GP 모델을 조합하여 고차원 데이터에서의 성능을 향상시키기 위해 효과적 차원을 감소시킨다.
• 이전 방법이 너무 느리거나 비현실적이었기 때문에, 수천 개의 데이터 포인트를 포함하는 실세계 데이터셋에 대한 GP 밀도 모델의 실용적 적용을 가능하게 한다.

제안 방법

• 비공액 우도를 공액 형태로 전환하기 위해 GP 밀도 모델에 잠재적 Pólya–Gamma 랜덤 변수를 도입하여 시그모이드 연결 함수를 무한한 가우시안 혼합형태로 표현한다.
• 우도의 정규화 적분을 표현하기 위해 잠재적 marked Poisson process를 도입하여 전체 함수 공간에 대한 정확한 마진화를 가능하게 한다.
• 확장된 모델의 공액성을 활용하여 GP 및 보조 변수에 대한 후행 분포 샘플링이 효율적으로 이루어지는 깁스 샘플러를 유도한다.
• 희소 GP 방법을 활용한 변분 베이즈 근사법을 개발하여 GP 사전분포의 무한차원 성격을 처리하고 데이터 크기에 비례하는 선형 계산 비용으로 감소시킨다.
• 고차원 우도 적분을 정확하게 근사하기 위해 학습된 기저 측도(예: GMM)를 활용한 중요도 샘플링 기법을 활용한다. 이는 고차원 설정에서의 정확도를 향상시킨다.
• 기본 측도 π(x)로 사전에 피팅된 GMM을 GP 모델과 조합하여 효과적 차원을 감소시키고, 다양체 구조를 가진 데이터에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 잠재 보조 변수를 도입하여 공액성을 확보함으로써, 비모수적 GP 밀도 모델에서의 베이지안 추론을 가능하게 할 수 있는가?
• RQ2 표준 MCMC가 계산적으로 금기인 수천 개의 데이터 포인트를 포함하는 데이터셋에 대해 GP 기반 밀도 추정을 어떻게 확장할 수 있는가?
• RQ3 학습된 기저 측도(예: GMM)를 사용할 경우, 고차원 데이터에서 GP 밀도 추정의 성능과 안정성은 어느 정도 향상되는가?
• RQ4 실제 및 인위적 데이터셋에서 제안된 깁스 샘플러와 변분 베이즈 근사법은 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ5 고차원 설정에서 이 방법의 한계는 무엇이며, 기저 측도에 대해 다른 밀도 추정기와 조합함으로써 이를 보완할 수 있는가?

주요 결과

• Pólya–Gamma 변수를 통한 공액 보정은 GP 밀도 모델에 대해 정확한 깁스 샘플링을 가능하게 하여, 기존 MCMC 방법이 저해되는 비공액성 문제를 해결한다.
• 희소 GP 근사를 활용한 변분 베이즈 근사법은 데이터 크기에 비례하는 선형 확장성을 보이며, 최대 6,000개의 데이터 포인트를 포함하는 데이터셋을 성공적으로 처리하여 MCMC에 비해 계산 효율성이 뛰어나다.
• ‘Forest Fire’, ‘Thyroid’, ‘Wine’ 데이터셋에서 기저 측도로 GMM을 사용한 GP 모델 조합은 각각 평균적으로 테스트 로그우도를 8.9%, 4.1%, 1.1% 향상시켰다.
• 깁스 샘플러는 수백 개의 데이터 포인트 문제에서는 입체적 스케일링으로 인해 실용적이지 않으나, 변분 베이즈 방법은 더 큰 데이터셋에서도 여전히 실행 가능하다.
• 기본 측도 π(x)가 데이터의 본질적 저차원 구조에 적합하게 조정될 경우, KDE 및 기본 GMM에 비해 상당한 성능 향상을 달성한다.
• GMM 기반 기저 측도를 활용한 중요도 샘플링은 근사 오차가 낮을 경우에만(표준편차(I) < 10⁻² × I) 안정적인 결과를 도출하며, 낮은 정확도의 근사는 평가에서 기각된다.