[논문 리뷰] Conditional score-based diffusion models for Bayesian inference in infinite dimensions

Lorenzo Baldassari, Ali Siahkoohi외 3명|arXiv (Cornell University)|2023. 05. 28.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 무한차원 함수 공간에서 베이지안 추론을 위한 이론적으로 탄탄한 조건부 스코어 기반 확산 모델(SDM)을 제안하며, 이는 이산화에 영향을 받지 않는 사후 분포 샘플링을 가능하게 한다. 조건부 노이즈 제거 추정량을 무한차원으로 확장함으로써, 이는 높은 계산 비용을 수반하는 전방 연산자 평가를 피하고 대규모 지구물리학적 이미징 문제에서 정확한 불확실성 정량화를 실현한다.

ABSTRACT

Since their initial introduction, score-based diffusion models (SDMs) have been successfully applied to solve a variety of linear inverse problems in finite-dimensional vector spaces due to their ability to efficiently approximate the posterior distribution. However, using SDMs for inverse problems in infinite-dimensional function spaces has only been addressed recently, primarily through methods that learn the unconditional score. While this approach is advantageous for some inverse problems, it is mostly heuristic and involves numerous computationally costly forward operator evaluations during posterior sampling. To address these limitations, we propose a theoretically grounded method for sampling from the posterior of infinite-dimensional Bayesian linear inverse problems based on amortized conditional SDMs. In particular, we prove that one of the most successful approaches for estimating the conditional score in finite dimensions - the conditional denoising estimator - can also be applied in infinite dimensions. A significant part of our analysis is dedicated to demonstrating that extending infinite-dimensional SDMs to the conditional setting requires careful consideration, as the conditional score typically blows up for small times, contrarily to the unconditional score. We conclude by presenting stylized and large-scale numerical examples that validate our approach, offer additional insights, and demonstrate that our method enables large-scale, discretization-invariant Bayesian inference.

연구 동기 및 목표

• 기존의 스코어 기반 확산 모델이 무한차원 베이지안 역문제에 적용될 때 조건부가 아닌 스코어에 의존하고 계산 비용이 높다는 한계를 해결하기 위해.
• 무한차원 함수 공간에서의 조건부 스코어 추정에 대해 이론적으로 엄밀한 프레임워크를 개발하여 안정성과 정확성을 보장하기 위해.
• 함수 공간에서 직접 사후 분포를 모델링하여 대규모이자 이산화에 영향을 받지 않는 베이지안 추론을 가능하게 하기 위해.
• 실제로 고차원인 역문제, 예를 들어 지구물리학적 이미징에서 정확한 불확실성 정량화를 통해 방법을 검증하기 위해.

제안 방법

• 이 방법은 역시간 SDE가 조건부 스코어를 사용하는 조건부 스코어 기반 확산 모델(SDM)을 도입하며, 이 조건부 스코어는 유한차원에서의 조건부 노이즈 제거 추정량을 무한차원 힐버트 공간으로 확장한 것이다.
• 조건부 스코어는 관측된 데이터를 조건으로 하는 사후 분포의 로그 밀도의 기울기로 정의되며, 이는 역과정이 진짜 사후 분포에서 샘플을 생성하도록 보장한다.
• 이론적 분석을 통해 조건부 스코어가 무한차원 설정에서도 잘 정의되고 유계임을 증명하였으며, 특히 작은 시간에 가까이 갈수록 발생할 수 있는 폭발 문제에도 불구하고 그러한 성질을 유지함을 보였다.
• 낮은 차원의 데이터(예: 수반 보른 연산자 출력 등)를 사후 평균과 불확실성 추정치로 효율적으로 매핑하기 위해 푸리에 신경망 연산자(FNO)를 활용한다.
• 사후 샘플링은 시간을 거꾸로 돌리는 SDE를 통해 수행되며, 이때 이동 항은 학습된 조건부 스코어에 의해 안내되어 고해상도 샘플 생성이 가능하다.
• 함수 공간의 이산화를 최종 추론 단계까지 연기함으로써, 앤드류 스타트의 원칙에 따라 이산화 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 유한차원 SDM에서 성공한 조건부 노이즈 제거 추정량이 무한차원 함수 공간으로 엄밀하게 확장될 수 있는가?
• RQ2 특히 작은 시간 간격 근처에서 무한차원 설정에서 조건부 스코어와 비조건부 스코어의 행동은 어떻게 다를까?
• RQ3 조건부 SDM이 지구물리학적 이미징과 같은 대규모 무한차원 역문제에서 정확하고 안정적인 사후 샘플링을 달성할 수 있는가?
• RQ4 이 방법은 실제 복원 오차와 물리적 특징(예: 반사면 불연속성)과 관련된 신뢰할 수 있는 불확실성 정량화를 제공하는가?

주요 결과

• 조건부 스코어 기반 확산 모델은 무한차원 함수 공간에서 사후 샘플을 성공적으로 생성하였으며, 역과정이 진짜 사후 분포로 수렴함을 확인하였다.
• 샘플링 도중 반복적인 전방 연산자 평가가 필요로 하지 않아 히우리스틱 접근에 비해 계산 비용을 크게 감소시켰다.
• 지점별 표준편차 추정치와 복원 오차 사이에 강한 상관관계가 확인되어, 이 방법이 불확실성을 정확히 정량화할 수 있음을 입증하였다.
• 정규화된 불확실성 맵은 반사면 시작점과 끝점, 그리고 불연속성 주변(예: 단층)에서 높은 불확실성 영역을 강조하며 물리적 기대와 일치하였다.
• 수직 프로파일을 통해 깊이가 증가할수록 불확실성이 증가하는 경향을 보였으며, 99% 신뢰구간은 항상 참값을 포함하여 불확실성 추정치의 신뢰성을 검증하였다.
• 이 방법은 지구물리학적 이미징 실험에서 다양한 메쉬 해상도에서 일관된 성능을 보이며 이산화에 영향을 받지 않는 추론을 가능하게 함을 입증하였다.