[논문 리뷰] On polynomial-time computation of high-dimensional posterior measures by Langevin-type algorithms

Richard Nickl, Sven Wang|arXiv (Cornell University)|2020. 09. 11.

Markov Chains and Monte Carlo Methods참고 문헌 70인용 수 9

한 줄 요약

이 논문은 비선형이고 비-로그볼록 모델에 대해 고차원 베이지안 추론에서 랭비에르드 유형의 MCMC 알고리즘에 대해 다항시간 계산 보장을 수립한다. 가우시안 프로세스 사전분포를 가정할 때, 사후 평균과 MAP 추정치는 국소 기하학적 가정과 양호한 초기화를 통해 높은 확률로 다항시간 내에 계산 가능하다. 이는 슈뢰딩거 방정식 역문제에서 검증되었다.

ABSTRACT

The problem of generating random samples of high-dimensional posterior distributions is considered. The main results consist of non-asymptotic computational guarantees for Langevin-type MCMC algorithms which scale polynomially in key quantities such as the dimension of the model, the desired precision level, and the number of available statistical measurements. As a direct consequence, it is shown that posterior mean vectors as well as optimisation based maximum a posteriori (MAP) estimates are computable in polynomial time, with high probability under the distribution of the data. These results are complemented by statistical guarantees for recovery of the ground truth parameter generating the data. Our results are derived in a general high-dimensional non-linear regression setting (with Gaussian process priors) where posterior measures are not necessarily log-concave, employing a set of local `geometric' assumptions on the parameter space, and assuming that a good initialiser of the algorithm is available. The theory is applied to a representative non-linear example from PDEs involving a steady-state Schrödinger equation.

연구 동기 및 목표

• 비선형이고 비-로그볼록 모델에서 고차원 사후 표본 추출의 계산 불가능성을 해결한다.
• 고차원 베이지안 추론에서 랭비에르드 유형의 MCMC 알고리즘에 대해 비점근적이고 다항시간 보장을 제공한다.
• 기하학적 및 통계적 조건 하에서 사후 평균과 최대사후확률(마르게) 추정치의 다항시간 계산 가능성을 확립한다.
• 비선형 PDE 설정의 대표적 사례인 정 steady-state 슈뢰딩거 방정식의 역문제에서 프레임워크를 검증한다.
• 베이지안 비모수 이론과 랭비에르드 알고리즘의 점근적이지 않은 분석을 연결하여 계산적 및 통계적 일致성을 확보한다.

제안 방법

• 사후 밀도가 exp(ℓ_N(θ))π(θ) 비례하는 확산 기반 MCMC 알고리즘을 사용한다. 여기서 ℓ_N는 로그우도이고 π는 가우시안 프로세스 사전분포이다.
• 우도 함수의 국소 곡률 한계를 도입하고, 비볼록성과 비-로그볼록성을 제어하기 위해 대체 우도 함수를 구성한다.
• 무한차원 함수 공간을 유한차원 계산에 대응하기 위해 웨이블릿 기반의 매개변수 공간 이산화를 사용한다.
• empirical process 이론과 체이닝 추론을 적용하여 경험적 그램 행렬이 기대값에서 벗어남을 유한하게 제한한다.
• 베르슈타인 부등식을 활용하여 경험 과정에서의 이차형식 꼬리 확률을 제어하고, 고차원 스케일링 하에서 농도를 확보한다.
• 양호한 초기점이 가용하다고 가정하고, 매개변수 공간의 기하학적 가정을 활용하여 알고리즘 수렴을 다항시간 내에 보장한다.

실험 결과

연구 질문

• RQ1 비-로그볼록 우도 조건 하에서 랭비에르드 유형의 MCMC 알고리즘이 고차원 사후 측도를 다항시간 내에 계산할 수 있는가?
• RQ2 기하학적 및 통계적 조건이 어떤 조건일 때 사후 평균과 MAP 추정치를 고차원 비선형 모델에서 효율적으로 계산할 수 있는가?
• RQ3 비선형 PDE 역문제, 예를 들어 슈뢰딩거 방정식에서 다항시간 수렴을 달성할 수 있는가?
• RQ4 국소 곡률과 우도 구조는 랭비에르드 알고리즘의 혼합 시간과 계산 복잡도에 어떤 영향을 미치는가?
• RQ5 좋은 초기점의 품질이 비볼록 사후 목표함수에서 다항시간 수렴을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 양호한 초기점이 가용할 경우, 데이터 분포 하에서 사후 평균과 MAP 추정치는 높은 확률로 다항시간 내에 계산 가능하다.
• 계산 복잡도는 차원 D, 정밀도 수준 ε, 관측 수 N에 대해 다항식적으로 스케일링된다.
• 슈뢰딩거 방정식 역문제에서는 전진 매핑의 국소 기하학적 가정과 웨이블릿 기반 이산화를 통해 다항시간 수렴을 달성한다.
• 분석 결과 경험 그램 행렬의 기대값에서의 편차는 높은 확률로 유한하게 제한되며, 이는 안정적인 사후 근사 보장을 제공한다.
• 증명은 체이닝 추론과 베르슈타인 부등식을 활용하여 경험 과정의 최대값을 제어하며, δ_N² = o(1/√N) 조건 하에서 꼬리 bound가 exp(−cNδ_N²)로 감소함을 보여준다.
• 이 프레임워크는 사후분포가 로그볼록이 아니어도 국소 곡률과 초기화 조건이 만족될 경우, 일반적인 비선형 회귀 모델 클래스에 적용 가능하다.