[논문 리뷰] Bayesian Posterior Perturbation Analysis with Integral Probability Metrics

Alfredo Garbuno-Iñigo, Tapio Helin외 2명|arXiv (Cornell University)|2023. 03. 02.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 적분 확률 거리(IPS)를 사용하여 가능도 잠재변수와 사전 분포의 변화에 대한 베이지안 사후 측도의 안정성을 분석하는 새로운 프레임워크를 제안한다. 특히 비선형적이고 국소 리프시츠 조건을 만족하는 가능도에 대해 특화되어 있으며, 기존의 절대 연속성 조건이 필요한 총변동 또는 헬링거 거리와는 달리, 딥 뉴럴 네트워크 대체 모델과 데이터 기반 사전 분포를 통한 사후 근사의 수렴 속도를 확립한다.

ABSTRACT

In recent years, Bayesian inference in large-scale inverse problems found in science, engineering and machine learning has gained significant attention. This paper examines the robustness of the Bayesian approach by analyzing the stability of posterior measures in relation to perturbations in the likelihood potential and the prior measure. We present new stability results using a family of integral probability metrics (divergences) akin to dual problems that arise in optimal transport. Our results stand out from previous works in three directions: (1) We construct new families of integral probability metrics that are adapted to the problem at hand; (2) These new metrics allow us to study both likelihood and prior perturbations in a convenient way; and (3) our analysis accommodates likelihood potentials that are only locally Lipschitz, making them applicable to a wide range of nonlinear inverse problems. Our theoretical findings are further reinforced through specific and novel examples where the approximation rates of posterior measures are obtained for different types of perturbations and provide a path towards the convergence analysis of recently adapted machine learning techniques for Bayesian inverse problems such as data-driven priors and neural network surrogates.

연구 동기 및 목표

• 비등가 또는 특이한 사전 설정에서 사전 분포의 변화에 대한 베이지안 사후 측도에 대한 강력한 안정성 분석의 부족을 해결하기 위해.
• 절대 연속성 조건이 필요 없이 가능도 및 사전 분포의 변화를 모두 수용할 수 있는 통합 확률 거리(IPM)를 활용한 융통성 있는 프레임워크를 개발하기 위해.
• 고차원 또는 함수형 베이지안 역문제에서 딥 뉴럴 네트워크 대체 모델과 데이터 기반 사전 분포를 포함한 현대 머신러닝 기법으로의 수렴 분석을 확장하기 위해.
• 일반적으로 비선형 역문제에서 흔한 국소 리프시츠 가능도 잠재변수에 대해 사후 근사 속도의 이론적 보장을 제공하기 위해.
• 기존의 총변동 또는 헬링거 거리와 같은 거리 척도가 사전 측도가 변화에 의해 특이해질 경우 실패하는 문제를 해결하기 위해.

제안 방법

• 저자는 문제의 구조에 맞게 조정된 IPM의 가족을 정의하며, 최적 운반 이론에서 영감을 얻은 이중 표현을 사용하여 사후 분포 간의 차이를 측정한다.
• 일반적인 안정성 프레임워크를 제안하며, 가정 1에 기반하여 참 가능도 잠재변수와 변화된 가능도 잠재변수 간의 차이를 기준 함수 h(u;y)와 유사한 거리 함수 c로 제한한다.
• 가능도 잠재변수에 대한 해석적 계속성 성질을 활용하여 딥 뉴럴 네트워크 근사의 지수 수렴 속도를 유도한다.
• 정리 3.2를 적용하여 참 사후 측도 ν와 근사 사후 측도 ν^N 사이의 IPM을 가능도 잠재변수 근사 오차의 관점에서 유계한다.
• 절대 연속성 조건이 필요 없는 IPM(예: 워샤르슈타인 거리)을 사용하여 비등가 사전 분포의 경우에도 처리할 수 있다.
• 실제 예시를 통해 ReLU 딥 뉴럴 네트워크가 해석적 가능도를 근사할 수 있음을 보이며, 네트워크 크기 증가에 따라 지수 수렴 속도를 얻는다.

실험 결과

연구 질문

• RQ1 가능도 잠재변수가 국소 리프시츠 또는 비연속일 경우, 가능도 잠재변수의 변화에 따른 사후 측도의 수렴 속도를 어떻게 확립할 수 있는가?
• RQ2 데이터 기반 또는 푸시포워드 사전 분포의 경우와 같이 사전과 그 변화된 사전이 상호 특이적일 때, 사전 변화에 대한 사후 안정성을 어떻게 분석할 수 있는가?
• RQ3 진짜 가능도가 해석적일 경우, 베이지안 역문제에서 가능도의 딥 뉴럴 네트워크 대체 모델로의 수렴 분석을 어떻게 확장할 수 있는가?
• RQ4 절대 연속성 조건이 필요 없는 IPM 기반 거리 척도 중에서 사전과 변화된 사전 간의 관계가 불필요한 경우에도 사후 분석이 안정적으로 가능한 것은 무엇인가?
• RQ5 현대 머신러닝 응용에서 가능도와 사전 둘 다 근사화될 경우, 베이지안 추론의 강건성을 어떻게 측정할 수 있는가?

주요 결과

• 논문은 해석 가능도 잠재변수의 딥 뉴럴 네트워크 근사에 대해 $ \mathcal{D}(\nu, \nu^N; c) \leq C\|c(\cdot,0)\|_{L^1(\mu)} \exp\left(-\kappa M^{\frac{1}{d+1}}\right) $ 형태의 지수 수렴 속도를 확립한다. 여기서 $ M $ 은 네트워크 크기이다.
• 이 프레임워크는 사전과 그 변화된 사전이 상호 특이적일 경우에도 데이터 기반 사전 및 푸시포워드 사전의 안정성 분석을 가능하게 하며, 이는 총변동 또는 헬링거 거리 척도에서는 제외되는 영역이다.
• 워샤르슈타인 거리와 같은 IPM의 사용은 변화된 사전가 원래 사전에 대해 절대 연속일 필요 없이도 강력한 사후 변화 분석을 가능하게 한다.
• 이 방법은 국소 리프시츠 조건만 만족하는 가능도 잠재변수에도 적용 가능하여, 비선형 및 비연속 역문제에 대한 적용 범위를 넓힌다.
• 새로운 예시를 통해 ReLU DNN이 네트워크 크기 증가에 따라 해석 가능도를 지수 정확도로 근사할 수 있음을 보이며, 이에 따라 사후 수렴 속도가 유도됨을 입증한다.
• 이 프레임워크는 베이지안 역문제에서 신경망 대체 모델과 데이터 기반 사전 분포와 같은 고급 머신러닝 기법의 수렴 분석로의 길을 열어준다.