[논문 리뷰] hIPPYlib: An Extensible Software Framework for Large-Scale Inverse Problems Governed by PDEs; Part I: Deterministic Inversion and Linearized Bayesian Inference

Umberto Villa, Noémi Petra외 1명|arXiv (Cornell University)|2019. 09. 09.

Gaussian Processes and Bayesian Inference참고 문헌 48인용 수 11

한 줄 요약

hIPPYlib는 PDE에 의해 지배되는 대규모 결정론적 및 선형화된 베이지안 역문제를 위한 확장 가능하고 스케일링 가능한 파이썬 프레임워크로, 저랭크 헤시안 근사와 행렬 자유 행렬 기반 뉴턴-CG 방법을 활용하여 차원에 독립적인 계산 비용을 달성한다. 이는 헤시안의 낮은 유효 차원성을 활용하여 무한차원 역문제를 효율적으로 해결할 수 있게 하며, 스케일링 가능한 MAP 추정, 사후 공분산 근사, 최소한의 정방향 해를 요구하는 샘플링을 가능하게 한다.

ABSTRACT

We present an extensible software framework, hIPPYlib, for solution of large-scale deterministic and Bayesian inverse problems governed by partial differential equations (PDEs) with infinite-dimensional parameter fields (which are high-dimensional after discretization). hIPPYlib overcomes the prohibitive nature of Bayesian inversion for this class of problems by implementing state-of-the-art scalable algorithms for PDE-based inverse problems that exploit the structure of the underlying operators, notably the Hessian of the log-posterior. The key property of the algorithms implemented in hIPPYlib is that the solution of the deterministic and linearized Bayesian inverse problem is computed at a cost, measured in linearized forward PDE solves, that is independent of the parameter dimension. The mean of the posterior is approximated by the MAP point, which is found by minimizing the negative log-posterior. This deterministic nonlinear least-squares optimization problem is solved with an inexact matrix-free Newton-CG method. The posterior covariance is approximated by the inverse of the Hessian of the negative log posterior evaluated at the MAP point. This Gaussian approximation is exact when the parameter-to-observable map is linear; otherwise, its logarithm agrees to two derivatives with the log-posterior at the MAP point, and thus it can serve as a proposal for Hessian-based MCMC methods. The construction of the posterior covariance is made tractable by invoking a low-rank approximation of the Hessian of the log-likelihood. Scalable tools for sample generation are also implemented. hIPPYlib makes all of these advanced algorithms easily accessible to domain scientists and provides an environment that expedites the development of new algorithms. hIPPYlib is also a teaching tool to educate researchers and practitioners who are new to inverse problems and the Bayesian inference framework.

연구 동기 및 목표

• 무한차원 매개변수를 가진 PDE에 의해 지배되는 대규모 역문제의 계산 비가용성 문제를 해결하기 위해.
• 고급 수치 알고리즘을 통합한 확장 가능하고 스케일링 가능한 소프트웨어 프레임워크를 제공하기 위해.
• 불완전한 뉴턴-CG 및 저랭크 헤시안 근사와 같은 최신 알고리즘을 최적화나 통계에 깊은 전문 지식이 없어도 도메인 과학자들이 접근할 수 있도록 하기 위해.
• 라플라스 방법을 사용하여 사후 평균과 공분산 근사를 통해 효율적인 불확실성 정량화를 가능하게 하기 위해.
• FEniCS를 통해 변분 형태로 정의된 정방향 문제를 허용함으로써 사용자가 새로운 역문제 설정을 신속하게 프로토타이핑할 수 있도록 확장성을 지원하기 위해.

제안 방법

• PDE의 변분 이산화에 FEniCS를 사용하고, 스케일링 가능한 선형 대수 연산에 PETSc를 활용한다.
• 헤시안 기반의 탐색 방향을 사용하여 음의 로그-사후분포를 최소화함으로써 최대사후확률(MAP) 점을 계산하기 위해 비정확한 행렬 자유 뉴턴-CG 방법을 적용한다.
• MAP 점에서의 로그우도의 헤시안에 저랭크 근사를 적용하여 사후 공분산 추정을 가능하게 한다.
• 수치적 안정성과 효율성을 향상시키기 위해 저랭크 헤시안 근사를 위한 제곱근이 없는 방법을 구현한다.
• 무작위 고유값 해법기를 사용하여 헤시안의 주요 고유모드를 계산하여 데이터에 기반한 매개변수 변동을 포착한다.
• 지점별 분산 계산을 통해 효율적인 무작위 필드 생성을 통해 고차원 가우시안 사전분포와 사후분포에서 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 무한차원 매개변수를 가진 대규모 PDE 기반 역문제를 차원에 따라 비용이 증가하지 않는 방식으로 효율적으로 해결할 수 있는가?
• RQ2 저랭크 헤시안 근사를 사용하여 고차원 베이지안 역문제에서 사후 공분산을 가장 효과적으로 근사하는 방법은 무엇인가?
• RQ3 행렬 자유 뉴턴-CG 방법은 무한차원 역문제에 효과적으로 적용될 수 있으며, 스케일링을 유지할 수 있는가?
• RQ4 PDE 제약 조건이 있는 역문제의 맥락에서 고차원 가우시안 분포에서의 스케일링 가능한 샘플링을 어떻게 달성할 수 있는가?
• RQ5 모듈러하고 확장 가능한 소프트웨어 프레임워크는 수치 최적화에 깊은 전문 지식이 없어도 역문제 분야의 연구 및 교육을 얼마나 가속화할 수 있는가?

주요 결과

• 역문제를 해결하는 계산 비용은 매개변수, 상태, 데이터 차원에 영향을 받지 않고, 오직 데이터에 기반한 모드의 수에만 의존한다.
• 비정확한 행렬 자유 뉴턴-CG 방법을 통해 MAP 점이 효율적으로 계산되며, 선형화된 정방향 및 인접 PDE 해를 소수의 횟수만 요구한다.
• 헤시안의 저랭크 근사는 주요이고 데이터에 기반한 스펙트럼 부분을 포착하며, 수치 실험에서 고유값이 약 0.06 근처에서 잘라낸다.
• 사후 분산 필드는 정확하게 계산되며, 특히 데이터에 의해 영향을 받는 영역에서 사전 분포 대비 불확실성이 크게 감소한 것으로 나타났다.
• 프레임워크는 두 가지 모델 문제에서 성능이 잘 유지됨을 입증했다: 푸아송 방정식에서의 계수 복원과 확산-운반 방정식에서의 초기 조건 복원.
• hIPPYlib는 대학원 수업과 워크숍에서 채택되어 역문제 분야의 교육 및 신속한 알고리즘 개발에 실용성을 입증했다.