[논문 리뷰] Debias Coarsely, Sample Conditionally: Statistical Downscaling through Optimal Transport and Probabilistic Diffusion Models

Zhong Wan, Ricardo Baptista외 5명|arXiv (Cornell University)|2023. 05. 24.

Advanced Mathematical Modeling in Engineering인용 수 11

한 줄 요약

본 논문은 쌍 데이터가 없는 통계적 다운스케일링을 위한 두 단계 확률 프레임워크를 제시한다: 먼저 최적 수송(map)을 이용한 바이어스 제거(debiasing), 그런 다음 조건부 확산 모델로 업샘플링을 수행하여 대상 통계에 맞는 고해상도 출력이 가능해진다.

ABSTRACT

We introduce a two-stage probabilistic framework for statistical downscaling using unpaired data. Statistical downscaling seeks a probabilistic map to transform low-resolution data from a biased coarse-grained numerical scheme to high-resolution data that is consistent with a high-fidelity scheme. Our framework tackles the problem by composing two transformations: (i) a debiasing step via an optimal transport map, and (ii) an upsampling step achieved by a probabilistic diffusion model with a posteriori conditional sampling. This approach characterizes a conditional distribution without needing paired data, and faithfully recovers relevant physical statistics from biased samples. We demonstrate the utility of the proposed approach on one- and two-dimensional fluid flow problems, which are representative of the core difficulties present in numerical simulations of weather and climate. Our method produces realistic high-resolution outputs from low-resolution inputs, by upsampling resolutions of 8x and 16x. Moreover, our procedure correctly matches the statistics of physical quantities, even when the low-frequency content of the inputs and outputs do not match, a crucial but difficult-to-satisfy assumption needed by current state-of-the-art alternatives. Code for this work is available at: https://github.com/google-research/swirl-dynamics/tree/main/swirl_dynamics/projects/probabilistic_diffusion.

연구 동기 및 목표

• 고충실도, 고해상도 출력을 위한 통계적 다운스케일링에서 쌍 데이터의 부족 문제를 해결한다.
• 데이터 분해 맵 C = T^{-1} ∘ C'를 개발하여 Debiasing과 Upsampling을 분리한다.
• 최적 수송을 사용하여 저해상도 데이터를 debias하고 확률적 확산 모델을 이용한 조건부 고해상도 샘플링을 수행한다.
• 저해상도와 고해상도 스펙트럼이 다를 때도 물리적 통계를 보존하도록 한다.
• 8x 및 16x 업샘플링으로 1D 및 2D 유체 흐름 문제에 적용 가능성을 입증한다.

제안 방법

• 다운스케일링 맵 C를 선형 다운샘플 C'와 가역적인 debiasing 맵 T로 분해하고, C = T^{-1} ∘ C' (또는 등가적으로 C'_{#}μ_X = T_{#}μ_Y).
• Debiasing: 엔트로피 정규화된 최적 수송 문제를 풀어 μ_Y를 μ_Y'로 밀어내는T를 얻고, C' μ_X와 일치하도록 한다.
• Upsampling: 확률적 확산 모델을 학습하여 고해상도 사전 p(x)를 배우고, E'_{ȳ'} = {x: C'x = ȳ'}를 이용한 포스트 처리된 디노이저로 조건부 샘플링 p(x|E'_{ȳ'})를 수행한다.
• Posterior conditioning: C'의 의사 역을 통해 중간 저해상도 공간에 조건화를 강제하기 위해 확산 디노이저를 수정한다.
• 구현 세부사항에는 VP 스케줄의 스코어 기반 확산, 점수에 대한 Tweedie 공식, 포스트 프로세싱 디노이저(Eq. 7) 포함.
• OT를 이용한 debiasing은 엔트로피 Sinkhorn 최적화로 계산되어 μ_Y를 μ_Y'로 밀어내는 T_{γ}(y) 바리센트릭 프로젝션을 산출한다.

Figure 1: (a) Upsampling (super-resolution) as frequency extrapolation in the Fourier domain. The model extrapolates low-frequency content to higher-frequencies (dashed blue). The debiasing map corrects the biased low-frequency content (solid red). (b) Illustration of the proposed framework where $\

실험 결과

연구 질문

• RQ1 쌍 데이터가 없는 저해상도 및 고해상도 데이터가 고해상도 출력으로 다운스케일링되어 대상 통계를 충실히 재현할 수 있는가?
• RQ2 최적 수송을 통한 debiasing이 업샘플링 전에 저주파 통계를 고해상도 분포와 효과적으로 정렬하는가?
• RQ3 조건부 확산 모델이 p(x|C'x = y')에서 실현 가능한 샘플을 생성하면서 물리적 통계를 보존하는가?
• RQ4 비쌍 다운샘플링 작업에서 debiasing과 upsampling을 분리하는 것이 엔드투엔드 접근 방식보다 어떤 이점을 제공하는가?

주요 결과

지표	KS 8x (LFLR)	KS 8x (OT-corrected)	NS 8x (LFLR)	NS 8x (OT-corrected)	NS 16x (LFLR)	NS 16x (OT-corrected)
covRMSE↓	0.343	0.081	0.458	0.083	0.477	0.079
MELRu↓	0.201	0.020	1.254	0.013	0.600	0.016
MELRw↓	0.144	0.020	0.196	0.026	0.200	0.025
KLD↓	1.464	0.018	29.30	0.033	12.26	0.017

• OT Debiasing은 KS와 NS 테스트의 통계적 정렬을 크게 개선하여 확산 기반 업샘플링의 성능을 향상시켰다.
• OT로 보정된 중간 데이터에 대한 조건부 확산은 비조건부 또는 비디바이어스 기초 대비 대상 에너지 스펙트럼에 근접하고 발산이 감소된 샘플을 제공한다.
• 제안된 방법은 NS에 대해 8x 및 16x 다운샘플링에서 다수의 지표(covRMSE, MELR, KLD, Wasserstein, MMD)에서 baselines(예: BCSD, cycleGAN, ClimAlign, ViT 기반 업샘플링)보다 우수하다.
• 프레임워크는 현실적인 소규모 특성과 상당한 가변성을 제공하며 확률적 샘플링을 통한 불확실성 정량화를 제공한다.
• OT 보정은 매우 중요하다; 그것이 없으면 조건화가 확산 궤적의 바이어스 오염으로 인해 통계를 저하시킨다.
• 정성적 결과는 이 방법이 여러 baselines 대비 가장 예리하고 물리적으로 그럴듯한 와류장을 생성함을 보인다.
• 8x와 16x 다운샘플링에서도 효과가 유지되어 큰 해상도 차이에 강건함을 보여준다.

Figure 2: (a) KS samples generated with diffusion model conditioned on LR information with and without OT correction applied, (b) empirical probability density function for relevant LR and HR samples in KS and (c) mode-wise log energy ratios with respect to the true samples (Eq. ( 13 ) without weigh