[논문 리뷰] A fast and scalable computational framework for large-scale and high-dimensional Bayesian optimal experimental design

Keyi Wu, Peng Chen외 1명|arXiv (Cornell University)|2020. 10. 28.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 16

한 줄 요약

이 논문은 편미분방정식(PDE)에 의해 지배되는 고차원 베이지안 최적 실험 설계(Bayesian optimal experimental design, OED)를 위한 빠르고 확장 가능한 계산 프레임워크를 제안한다. 이는 헤시안의 저랭크 구조를 활용하고 오프라인-온라인 분해를 통해 PDE 해를 줄이는 데 중점을 두고 있다. 센서 배치에 대해 스위핑 그리디 알고리즘을 사용하여 최소한의 온라인 PDE 평가로 근사 최적의 정보 수확을 달성하며, 수천 개의 매개변수와 센서까지 확장 가능함을 보여준다.

ABSTRACT

We develop a fast and scalable computational framework to solve large-scale and high-dimensional Bayesian optimal experimental design problems. In particular, we consider the problem of optimal observation sensor placement for Bayesian inference of high-dimensional parameters governed by partial differential equations (PDEs), which is formulated as an optimization problem that seeks to maximize an expected information gain (EIG). Such optimization problems are particularly challenging due to the curse of dimensionality for high-dimensional parameters and the expensive solution of large-scale PDEs. To address these challenges, we exploit two essential properties of such problems: the low-rank structure of the Jacobian of the parameter-to-observable map to extract the intrinsically low-dimensional data-informed subspace, and the high correlation of the approximate EIGs by a series of approximations to reduce the number of PDE solves. We propose an efficient offline-online decomposition for the optimization problem: an offline stage of computing all the quantities that require a limited number of PDE solves independent of parameter and data dimensions, and an online stage of optimizing sensor placement that does not require any PDE solve. For the online optimization, we propose a swapping greedy algorithm that first construct an initial set of sensors using leverage scores and then swap the chosen sensors with other candidates until certain convergence criteria are met. We demonstrate the efficiency and scalability of the proposed computational framework by a linear inverse problem of inferring the initial condition for an advection-diffusion equation, and a nonlinear inverse problem of inferring the diffusion coefficient of a log-normal diffusion equation, with both the parameter and data dimensions ranging from a few tens to a few thousands.

연구 동기 및 목표

• 편미분방정식(PDE)에 의해 지배되는 고차원 베이지안 최적 실험 설계(OED)의 계산적 과제를 해결한다.
• 기대 정보 수확(EIG) 평가에서 대규모 PDE 해와 고차원 적분의 금방 드는 비용을 극복한다.
• 매개변수 및 데이터 차원에 관계없이 고정된 오프라인 비용으로 PDE 해의 수를 줄이는 확장 가능한 방법을 개발한다.
• PDE 해가 없는 온라인 최적화를 활용해 고차원 설계 공간에서 효율적인 센서 배치를 실현한다.
• 선형 및 비선형 역문제에서 매개변수 및 데이터 차원이 수천에 이르는 경우에도 효과성과 확장 가능성을 입증한다.

제안 방법

• 매개변수에서 관측치로의 사상의 야코비안에 존재하는 저랭크 구조를 활용하여, 데이터에 기반한 내재적으로 저차원의 부분공간을 식별한다.
• 사후분포에 라플라스 근사를 적용하여 EIG 계산을 단순화하고, 이중 적분을 사전 분포에 대한 단일 적분으로 줄인다.
• 오프라인-온라인 분해를 적용: 제한된 수의 해를 사용해 오프라인 단계에서 모든 PDE에 의존하는 양을 사전에 계산한다.
• 온라인 최적화를 위해 레버리지 스코어 기반 초기화를 사용하는 스위핑 그리디 알고리즘을 수행하며, 반복적으로 센서 선택을 개선한다.
• 근사 EIG 간의 높은 상관관계를 활용하여 오프라인 단계에서 필요한 PDE 해의 수를 줄인다.
• 사전에 조절된 연산자를 사용해 오차의 헤시안을 근사하고, 빠른 고유값 감쇠 특성을 활용해 저랭크 근사를 수행한다.

실험 결과

연구 질문

• RQ1 고차원 베이지안 OED에서 EIG 평가에 필요한 PDE 해의 수를 크게 줄일 수 있는가?
• RQ2 헤시안과 매개변수에서 관측치로의 사상에 존재하는 저랭크 구조를 어떻게 활용해 확장 가능한 계산을 가능하게 할 수 있는가?
• RQ3 스위핑 그리디 알고리즘이 고차원 OED의 센서 배치에서 표준 그리디 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 매개변수 및 데이터 차원 증가에 따라 이 프레임워크의 확장 가능성은 어느 정도인가?
• RQ5 실제 역문제에서 라플라스 근사를 통해 근사한 EIG는 진짜 EIG에 얼마나 가까운가?

주요 결과

• 제안된 프레임워크는 매개변수 및 데이터 차원에 관계없이 오프라인 단계에서 고정된, 작은 수의 PDE 해로 줄여내었다.
• 스위핑 그리디 알고리즘은 일관되게 최적 또는 근사 최적의 센서 구성(configuration)을 찾는다: r=2,3,5,8인 경우 모든 테스트 케이스에서 최고 또는 두 번째로 높은 EIG를 달성했으며, r=4,6,7일 경우 근사 최적 성능을 보였다.
• 9개의 후보 센서에서 두 그룹의 그리디 알고리즘이 200개의 랜덤 설계를 모두 능가했고, 스위핑 그리디 알고리즘이 8개의 경우 중 7개에서 표준 그리디 알고리즘을 따라하거나 뛰어넘었다.
• 81개의 후보 센서에서 스위핑 그리디 알고리즘은 랜덤 선택보다 훨씬 우수한 설계를 선택했으며, 일관되게 표준 그리디 알고리즘을 능가했다.
• 매개변수 및 데이터 차원 증가에 따라 헤시안의 고유값 감쇠 특성이 일관되게 유지되어, 매개변수 차원에 대해 강한 확장 가능성을, 데이터 차원에 대해선 약한 확장 가능성을 확인했다.
• 라플라스 근사된 EIG는 센서 선택을 안내하기에 충분히 정확했으며, 근사로 선택된 설계가 종종 진짜 최적 또는 근사 최적의 것으로 확인되었다.