[논문 리뷰] Integrals over Gaussians under Linear Domain Constraints

Alexandra Gessner, Oindrila Kanjilal외 1명|arXiv (Cornell University)|2019. 10. 21.

Gaussian Processes and Bayesian Inference참고 문헌 54인용 수 9

한 줄 요약

이 논문은 베이지안 최적화와 통계 모델링에서 흔한 선형 도메인 제약 조건 하에서 다변량 정규 분포의 고차원 적분을 효율적으로 계산하는 새로운 블랙박스 알고리즘을 제시한다. 이는 선형 영역 샘플링(_lin-ess_)과 홀름스-디아코니스-로스(hdr) 알고리즘을 조합하여 구현되며, 낮은 확률 영역이 존재하는 고차원 환경에서도 극히 작은 확률 질량과 적분의 도함수를 정확하게 계산할 수 있도록 한다.

ABSTRACT

Integrals of linearly constrained multivariate Gaussian densities are a frequent problem in machine learning and statistics, arising in tasks like generalized linear models and Bayesian optimization. Yet they are notoriously hard to compute, and to further complicate matters, the numerical values of such integrals may be very small. We present an efficient black-box algorithm that exploits geometry for the estimation of integrals over a small, truncated Gaussian volume, and to simulate therefrom. Our algorithm uses the Holmes-Diaconis-Ross (HDR) method combined with an analytic version of elliptical slice sampling (ESS). Adapted to the linear setting, ESS allows for rejection-free sampling, because intersections of ellipses and domain boundaries have closed-form solutions. The key idea of HDR is to decompose the integral into easier-to-compute conditional probabilities by using a sequence of nested domains. Remarkably, it allows for direct computation of the logarithm of the integral value and thus enables the computation of extremely small probability masses. We demonstrate the effectiveness of our tailored combination of HDR and ESS on high-dimensional integrals and on entropy search for Bayesian optimization.

연구 동기 및 목표

• 매우 작은 확률 질량을 가진 선형 도메인 제약 조건 하에서 다변량 정규 분포의 적분을 계산하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• 기각 샘플링의 비효율성으로 인해 고차원 공간에서 낮은 확률 영역에서도 효과적으로 작동하는 샘플링 방법을 개발하기 위해.
• 최적화 및 추론에 핵심적인 역할을 하는 평균 및 공분산 매개변수에 대한 적분 도함수를 정확하게 추정하기 위해.
• 고정밀 적분과 제약 조건이 부여된 가우시안 분포에서 정확한 샘플링을 동시에 지원하는 통합 프레임워크를 제공하기 위해.
• 기대값 전파(Expectation Propagation)와 같은 기존 방법(보장이 없음)과 표준 몬테카를로 기법(희귀 사건에 실패함)의 한계를 극복하기 위해.

제안 방법

• 타원과 선형 도메인 경계의 교차점에 대한 닫힌 형태 해를 활용하여 타원 샘플링(ess) 알고리즘을 기각 없이 작동하는 변형인 선형 영역-ess(lin-ess)로 변형하기.
• 홀름스-디아코니스-로스(hdr) 알고리즘을 사용해 중첩된 도메인을 거쳐 조건부 확률의 시퀀스로 적분을 분해함으로써 수치적 안정성과 정밀도를 향상시키기.
• hdr 내부의 내부 제안 기구로 lin-ess 샘플러를 활용하여 하나의 프레임워크 내에서 샘플링과 적분을 동시에 가능하게 하기.
• hdr를 통해 적분의 로그를 직접 계산함으로써 극히 작은 확률 질량(예: ~10⁻⁶)을 수치적 underflow 없이 정확하게 평가할 수 있도록 하기.
• lin-ess 및 hdr 구성 요소를 통해 역전파를 수행하여 평균 및 공분산에 대한 적분 도함수 추정을 가능하게 하기.
• 초기 유효 샘플을 제약 조건이 있는 도메인 내에서 찾는 사전 계산 단계를 도입하여 차원 수에 따라 효율적으로 확장되며 일반적으로 주요 샘플링 비용에 비해 무시할 만큼 낮은 비용을 차지하기.

실험 결과

연구 질문

• RQ1 타원과 평면의 기하적 성질을 활용하여 기각 없이 작동하는 샘플링 방법을 선형 제약 조건이 있는 다변량 정규 분포에 대해 설계할 수 있는가?
• RQ2 이러한 샘플러와 hdr 알고리즘을 효과적으로 조합하여 매우 작은 확률 질량이 존재하는 고차원 가우시안 적분을 극도로 정밀하게 계산할 수 있는가?
• RQ3 수치적 과제가 고차원에서 발생하더라도 제안된 프레임워크가 적분에 대한 모델 매개변수에 대한 정확한 도함수 추정을 가능하게 하는가?
• RQ4 lin-ess의 성능은 고차원, 낮은 확률 영역 설정에서 기각 샘플링 및 기타 몬테카를로 기법과 비교해 어떻게 되는가?
• RQ5 엔트로피 검색과 같은 실제 문제, 예를 들어 확률 질량이 무시할 만큼 낮은 목표 영역이 존재하는 베이지안 최적화에 이 방법을 적용할 수 있는가?

주요 결과

• lin-ess 알고리즘은 확률 질량이 약 ~1.6×10⁻⁴에 이르는 경우조차도 기각 없이 샘플링을 가능하게 하여 기존 기각 샘플링으로는 비가능한 영역에서도 작동함.
• hdr-lin-ess 조합은 적분의 로그를 직접 계산할 수 있도록 하여 수치적 underflow 없이 극히 작은 확률 질량(예: ~10⁻⁶)을 정확하게 평가할 수 있음.
• 5×10⁵개의 샘플을 사용하여 정규 분포의 평균 및 공분산 행렬에 대한 도함수를 2-노름 기준 상대 표준편차 약 ~10⁻² 이내로 추정함 — 이는 이전에는 불가능했던 작업임.
• 베이지안 최적화 환경에서 알고리즘이 성공적으로 작동하여 확률이 <10⁻⁶인 희귀 사건 영역에 조건부된 사후 분포에서 샘플링을 수행함.
• 이 방법은 매우 병렬화 가능하며 높은 수치 정밀도를 유지하며, 비편향성 덕분에 계산 비용이 더 높지만 기대값 전파보다 정확도에서 뛰어남.
• 제약 조건이 있는 도메인에서 초기 유효 샘플을 찾는 사전 계산 단계는 하위 집합당 약 16개의 샘플만 필요하여 주요 샘플링 비용에 비해 무시할 만큼 낮음.