[논문 리뷰] Adaptive particle-based approximations of the Gibbs posterior for inverse problems

Zilong Zou, Sayan Mukherjee외 2명|arXiv (Cornell University)|2019. 07. 02.

Probabilistic and Robust Engineering Design참고 문헌 35인용 수 4

한 줄 요약

이 논문은 편미분방정식(PDE)에 의해 지배되는 역문제에서 게비스 사후분포를 효율적으로 근사하기 위해 국소 감소기저(RB) 대체모형을 활용한 적응형 입자 기반 순차 몬테카를로(SMC) 방법을 제안한다. 우도 대신 손실 함수를 사용함으로써 데이터 메커니즘이 알려지지 않은 경우에도 강인한 추론이 가능하며, SMC 진행 중에 국소적으로 적응적인 고정밀도 RB 근사 모형을 통해 손실 함수를 근사함으로써 상당한 계산적 절감을 이룬다.

ABSTRACT

In this work, we adopt a general framework based on the Gibbs posterior to update belief distributions for inverse problems governed by partial differential equations (PDEs). The Gibbs posterior formulation is a generalization of standard Bayesian inference that only relies on a loss function connecting the unknown parameters to the data. It is particularly useful when the true data generating mechanism (or noise distribution) is unknown or difficult to specify. The Gibbs posterior coincides with Bayesian updating when a true likelihood function is known and the loss function corresponds to the negative log-likelihood, yet provides subjective inference in more general settings. We employ a sequential Monte Carlo (SMC) approach to approximate the Gibbs posterior using particles. To manage the computational cost of propagating increasing numbers of particles through the loss function, we employ a recently developed local reduced basis method to build an efficient surrogate loss function that is used in the Gibbs update formula in place of the true loss. We derive error bounds for our approximation and propose an adaptive approach to construct the surrogate model in an efficient manner. We demonstrate the efficiency of our approach through several numerical examples.

연구 동기 및 목표

• 우도 평가가 비용이 많이 드는 PDE 제약 조건이 있는 역문제에서 베이지안 추론의 높은 계산 비용을 해결한다.
• 후보 분포가 지배하는 영역에 집중함으로써 전역적으로 정확한 대체모형의 비효율성을 해결한다.
• 오직 손실 함수에 의존하는 게비스 사후분포의 유연성과 효율적인 입자 기반 추론을 결합한 프레임워크를 개발한다.
• 명시적인 우도 사양 없이도 복잡하거나 알려지지 않은 노이즈 모델이 있는 역문제에서 확장 가능한 불확실성 정량화를 가능하게 한다.
• 진행 중인 후보 분포 지원에 맞게 적응적으로 구성되는 국소 감소기저 모델의 순차적이고 적응적인 구축을 통해 계산 효율성을 달성한다.

제안 방법

• 게비스 사후분포를 근사하는 가중치가 부여된 입자들을 반복적으로 진화시키는 순차 몬테카를로(SMC) 프레임워크를 사용한다.
• 우도나 노이즈 모델이 알려져 있지 않은 경우에도 가능하도록, 손실 함수(예: l2 손실)를 사용해 게비스 사후분포를 정의한다.
• 각 SMC 단계에서 입자 위치에 기반해 적응적으로 업데이트되는 손실 함수용 국소 감소기저(RB) 대체모형을 구축한다.
• 오차 허용 기준을 현재 손실 값의 표준편차의 5%로 설정한 임계값 기반의 정밀도 전략을 사용해 국소 RB 모델을 적응적으로 개선한다.
• SMC 업데이트 중에 전체 PDE 기반 손실 평가 대신 국소 RB 대체모형을 사용함으로써 입자당 계산 비용을 크게 감소시킨다.
• 이론적 오차 한계를 유도함으로써 SMC 프레임워크 내에서 RB 근사에 대한 수렴성과 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 적응형 국소 감소기저 모형이 PDE 제약 조건이 있는 역문제에서 게비스 사후분포 근사의 계산 비용을 상당히 감소시킬 수 있는가?
• RQ2 알려지지 않은 노이즈 모델이 있는 역문제에서, 제안된 SMC-RB 방법의 정확도와 효율성은 기존 MCMC와 비교해 어떻게 되는가?
• RQ3 전역 대체모형에 비해 국소 RB 모델의 적응적 정밀도 향상이 후보 분포 지원 영역에서 정확도에 얼마나 기여하는가?
• RQ4 복잡한 역문제에서 노이즈 수준과 매개변수 차원 수에 따라 국소 RB 원소의 수는 어떻게 변화하는가?
• RQ5 제안된 방법은 MCMC 기반 추론과 일관성을 유지하면서도 수십만 배의 속도 향상을 달성할 수 있는가?

주요 결과

• 제안된 방법은 전역 정확도 요구 사항을 피하고 후보 분포 지배 영역에 국한된 국소 RB 대체모형 구축에 초점을 맞춤으로써 계산 절감을 달성한다.
• 층상 재료 문제에서, 노이즈 수준이 높아질수록 국소 RB 원소의 수가 증가했으며, 이는 후보 분포 집중도가 높아지고 SMC 경로 길이가 길어짐을 반영한다.
• 고차원 포함 문제에서는 층상 문제에 비해 더 많은 RB 원소가 필요했으며, 이는 매개변수 차원 수 증가에 따른 계산 비용 증가를 시사한다.
• 후보 분포 평균 추정치는 MCMC 결과와 일치했으며, 불확실성 정량화(표준편차)는 데이터 노이즈 수준(5%, 10%, 20%)이 증가함에 따라 정확하게 증가했다.
• 손실 표준편차의 5%로 설정된 임계값 전략을 통해 적응형 RB 전략은 과적합을 피하면서도 높은 정확도를 유지했다.
• 이론적 및 실험적 결과 모두에서, 이 방법은 광범위한 PDE 기반 역문제(예: 대류-확산, 엘라스토그래피)에 대해 강인하고 확장 가능한 성능을 보였으며, 최첨단 MCMC 방법과 유사한 성능을 유지했다.