[논문 리뷰] Probabilistic Bayesian optimal experimental design using conditional normalizing flows

Rafael Orozco, Felix J. Herrmann외 1명|arXiv (Cornell University)|2024. 02. 28.

Optimal Experimental Design Methods인용 수 5

한 줄 요약

본 논문은 조건부 정규화 흐름(CNF)을 공동으로 훈련하여 기대 정보 이득을 최대화하고, 베이지안 실험 설계를 위한 확률적 이진 설계 마스크를 최적화하는 방법을 제안하며, 고차원 MRI 데이터에 대해 시연한다.

ABSTRACT

Bayesian optimal experimental design (OED) seeks to conduct the most informative experiment under budget constraints to update the prior knowledge of a system to its posterior from the experimental data in a Bayesian framework. Such problems are computationally challenging because of (1) expensive and repeated evaluation of some optimality criterion that typically involves a double integration with respect to both the system parameters and the experimental data, (2) suffering from the curse-of-dimensionality when the system parameters and design variables are high-dimensional, (3) the optimization is combinatorial and highly non-convex if the design variables are binary, often leading to non-robust designs. To make the solution of the Bayesian OED problem efficient, scalable, and robust for practical applications, we propose a novel joint optimization approach. This approach performs simultaneous (1) training of a scalable conditional normalizing flow (CNF) to efficiently maximize the expected information gain (EIG) of a jointly learned experimental design (2) optimization of a probabilistic formulation of the binary experimental design with a Bernoulli distribution. We demonstrate the performance of our proposed method for a practical MRI data acquisition problem, one of the most challenging Bayesian OED problems that has high-dimensional (320 $ imes$ 320) parameters at high image resolution, high-dimensional (640 $ imes$ 386) observations, and binary mask designs to select the most informative observations.

연구 동기 및 목표

• 예산 제약 하에서 사전(priors)을 포스트eriors로 업데이트하기 위한 베이지안 최적 실험 설계(OED)를 촉진한다.
• 가능도 기반 생성모델과 확장 가능한 학습을 사용하여 EIG의 계산 문제를 해결한다.
• 강건하고 확장 가능한 설계 최적화를 가능하게 하는 확률적이고 학습 가능한 이진 설계 마스크를 도입한다.
• 고차원 MRI 데이터 취득 문제에 대해 이 접근법을 시연한다.
• 최적화된 설계가 후처 불확실성을 줄이고 재구성 품질을 향상시킴을 보인다.

제안 방법

• EIG 최적화가 공동 분포하에서 기대 사후 로그가능도 최대화와 동등하다는 등식을 유도한다.
• 정확한 가능도를 가진 조건부 정규화 흐름(CNFs)을 사용하여 설계 그래디언트의 역전파와 네트워크 매개변수 및 설계의 공동 최적화를 가능하게 한다.
• 학습 가능한 연속 마스크 w를 통해 이진 설계를 베르누이 분포 변수로 매개변화하고, 정규화 예산 s로 이진 마스크에 매핑한다.
• 데이터-후포에 대한 기대 로그가능도를 최대화하여 CNF와 설계 매개변수를 공동으로 학습한다.
• 320x320 매개변수 공간과 640x386 관찰 공간을 갖는 대규모 역문제 해결을 통해 MRI 데이터에 적용한다.
• NMSE 및 SSIM 지표를 사용하여 근사 사후 샘플링과 설계 성능을 평가하고 최적화된 마스크와 수작업 설계 마스크를 비교한다.

(a) (a) Posterior sample $\mathbf{x}\sim p_{\hat{\theta}}$

실험 결과

연구 질문

• RQ1 조건부 정규화 흐름이 베이지안 OED를 위한 EIG를 최적화하기 위한 해석 가능한 가능도를 제공할 수 있는가?
• RQ2 확률적 이진 설계와 함께 CNFs를 공동 학습하는 것이 고차원 이미징 문제에 대해 강건하고 확장 가능한 OED를 제공하는가?
• RQ3 최적화된 확률적 마스크가 MRI에서 후처 불확실성과 재구성 품질에 어떤 영향을 미치는가?
• RQ4 대규모 MRI OED 작업에 CNFs를 적용할 때의 계산적 트레이드오프는 무엇인가?

주요 결과

• 본 방법은 EIG 최적화를 CNF 기반 사후 가능도 학습에 연결하여 설계 매개변수에 역전파를 가능하게 한다.
• 이진 설계는 베르누이 매개변화를 통해 확률적으로 학습되며, 서로 다른 예산에 대해 재학습 없이 예산 준수 마스크를 가능하게 한다.
• FAST MRI 무릎 데이터에서 학습된 설계는 저주파를 부드럽게 강조하고 MRI 대칭성과 정렬된 비등방성 비샘플링을 드러낸다.
• 최적화된 설계는 후처 불확실성을 줄이고 재구성 품질을 향상시키며, 후처 평균에서 NMSE가 더 작고 SSIM이 더 높음을 보여준다.

(b) (b) Posterior sample $\mathbf{x}\sim p_{\hat{\theta}}$