[논문 리뷰] Posterior Sampling with Denoising Oracles via Tilted Transport

Joan Bruna, Jiequn Han|arXiv (Cornell University)|2024. 06. 30.

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 선형 역문제에서 로그우도의 이차 구조와 사전 노이즈 제거 오라클을 활용하여 기존 사후분포를 '강화된' 사후분포로 변환하는 새로운 방법인 기울인 운반(tilted transport)을 제안한다. 이 사후분포는 증명 가능하게 더 쉽게 샘플링할 수 있도록 한다. 주요 기여는 강화된 사후분포가 강력한 로그볼록성을 띠게 되는 정량적 조건을 규명한 것으로, 이는 랑주한 역학을 통한 효율적 샘플링을 보장한다. 검증은 가우시안 믹스처, 이징 모델, 스칼라 필드 𝜑⁴ 모델에서 수행되었다.

ABSTRACT

Score-based diffusion models have significantly advanced high-dimensional data generation across various domains, by learning a denoising oracle (or score) from datasets. From a Bayesian perspective, they offer a realistic modeling of data priors and facilitate solving inverse problems through posterior sampling. Although many heuristic methods have been developed recently for this purpose, they lack the quantitative guarantees needed in many scientific applications. In this work, we introduce the extit{tilted transport} technique, which leverages the quadratic structure of the log-likelihood in linear inverse problems in combination with the prior denoising oracle to transform the original posterior sampling problem into a new `boosted' posterior that is provably easier to sample from. We quantify the conditions under which this boosted posterior is strongly log-concave, highlighting the dependencies on the condition number of the measurement matrix and the signal-to-noise ratio. The resulting posterior sampling scheme is shown to reach the computational threshold predicted for sampling Ising models [Kunisky'23] with a direct analysis, and is further validated on high-dimensional Gaussian mixture models and scalar field $φ^4$ models.

연구 동기 및 목표

• . 과학적 응용 분야에서 널리 사용되는 히우리스틱 사후분포 샘플링 방법의 정량적 보장을 부족한 점을 보완하고자 한다.
• 완벽한 사전 노이즈 제거 오라클이 존재할 경우에도 효율적인 사후분포 샘플링이 가능한지 탐구하고자 한다.
• 측정 행렬의 조건수와 신호 대 잡음비에 따라 사후분포 샘플링이 증명 가능하게 해소 가능한 구조적 조건을 규명하고자 한다.
• 확산 모델을 통한 원칙적인 사전 생성과 역문제에 대한 신뢰할 수 있는 사후분포 샘플링 간 격차를 메우고자 한다.

제안 방법

• . 방법은 사전 노이즈 제거 오라클과 로그우도의 이차 구조를 활용하여 사후분포를 재가중하는 '기울인 운반' 변환을 도입한다.
• 이것은 사전의 감수성과 측정 모델에 기반한 기울임을 적용하여 새로운 사후분포, 즉 '강화된 사후분포'를 구성한다.
• 이 변환은 변분 원리로부터 유도되며, 열 반군과 포커-플랑크 역학과 연결된다.
• 이론적 분석은 바르키-에머리 기준을 사용하여 강화된 사후분포의 강력한 로그볼록성을 위한 충분조건을 확립한다.
• 유도된 조건 하에서 변환된 사후분포에 대해 랑주한 역학을 사용한 구현이 가능하며 수렴 보장을 제공한다.
• 초기 강력한 로그볼록성 영역을 초월한 적용 가능성을 확장하기 위해 반복적 기울인 운반을 제안하며, 이는 통제 가능한 근사 오차를 수반한다.

실험 결과

연구 질문

• RQ1 . 완벽한 사전 노이즈 제거 오라클이 존재할 경우 선형 역문제에서 효율적인 사후분포 샘플링이 가능할 수 있는가?
• RQ2 어떤 조건에서 사후분포가 증명 가능하게 강력한 로그볼록성이 되며, 이에 따라 랑주한 역학을 통한 효율적 샘플링이 가능해지는가?
• RQ3 측정 행렬의 조건수와 신호 대 잡음비는 사후분포 샘플링의 해소 가능성에 어떤 영향을 미치는가?
• RQ4 기울인 운반 기법은 조건이 나쁜 또는 비선형 역문제로 확장될 수 있으며, 이에 대한 정량적 오차 한계는 무엇인가?
• RQ5 사전 분포의 감수성은 기울인 운반 변환의 효과성에 어떤 영향을 미치는가?

주요 결과

• . 기울인 운반 방법은 측정 행렬의 조건수가 유계이고 신호 대 잡음비가 충분히 높을 경우, 원래 사후분포를 강력한 로그볼록성을 갖는 강화된 사후분포로 변환함을 증명한다.
• 이징 모델의 경우, 쿤린(2023)이 예측한 계산 임계값을 달성하여, 이는 고전적인 통계역학 모델에서의 효율성을 검증한다.
• 고차원 가우시안 믹스처 모델(d = 20, 40, 80)에서, 강화된 랑주한 역학은 모든 SNR 영역에서 표준 랑주한 역학보다 뚜렷이 뛰어나며, 낮은 슬라이스드 워샤르스타인 거리 기록을 달성한다.
• 측정 행렬의 고유값이 0인 경우(즉, 𝑑′ < 𝑑)에도, 비영인 고유값이 강화된다면 방법은 여전히 효과적이며, 랭크가 떨어지는 측정에 대한 강건성을 보여준다.
• 스칼라 필드 𝜑⁴ 모델에서, 기울인 운반은 랑주한 역학의 자기상관성 감소를 가속화하여 더 빠른 혼합과 감소된 리아소니 시간을 나타낸다.
• 반복 기울인 운반 확장 기법은 초기 사후분포가 강력한 로그볼록성이 아닐 경우에도 샘플링을 가능하게 하며, 이는 작은 근사 오차가 발생하지만 이는 정량적으로 측정 가능하다.