[論文レビュー] Debias Coarsely, Sample Conditionally: Statistical Downscaling through Optimal Transport and Probabilistic Diffusion Models

Zhong Wan, Ricardo Baptista+5 more|arXiv (Cornell University)|May 24, 2023

Advanced Mathematical Modeling in Engineering被引用数 11

ひとこと要約

本論文は、非ペア統計ダウンスケーリングのための二段階確率フレームワークを提案する。最初に最適輸送マップによるデバイアス除去を行い、次に条件拡散モデルでアップサンプリングを行い、ターゲット統計と一致する高解像度出力を可能にする。

ABSTRACT

We introduce a two-stage probabilistic framework for statistical downscaling using unpaired data. Statistical downscaling seeks a probabilistic map to transform low-resolution data from a biased coarse-grained numerical scheme to high-resolution data that is consistent with a high-fidelity scheme. Our framework tackles the problem by composing two transformations: (i) a debiasing step via an optimal transport map, and (ii) an upsampling step achieved by a probabilistic diffusion model with a posteriori conditional sampling. This approach characterizes a conditional distribution without needing paired data, and faithfully recovers relevant physical statistics from biased samples. We demonstrate the utility of the proposed approach on one- and two-dimensional fluid flow problems, which are representative of the core difficulties present in numerical simulations of weather and climate. Our method produces realistic high-resolution outputs from low-resolution inputs, by upsampling resolutions of 8x and 16x. Moreover, our procedure correctly matches the statistics of physical quantities, even when the low-frequency content of the inputs and outputs do not match, a crucial but difficult-to-satisfy assumption needed by current state-of-the-art alternatives. Code for this work is available at: https://github.com/google-research/swirl-dynamics/tree/main/swirl_dynamics/projects/probabilistic_diffusion.

研究の動機と目的

• 高忠実度・高解像度出力のためのペアデータ不足の統計ダウンスケーリングの問題に対処する。
• デバイアス除去とアップサンプリングを分離する因子化マップ C = T^{-1} ∘ C' を開発する。
• 低解像データのデバイアス除去に最適輸送を、条件付き高解像サンプリングに拡散モデルを使う。
• 低/高解像スペクトルが異なる場合でも物理的統計を保持する方法を保証する。
• 8x および 16x のアップサンプリングを伴う1次元および2次元の流体流れ問題への適用性を示す。

提案手法

• ダウンスケーリングマップ C を線形ダウンサンプリング C' と可逆デバイアスマップ T に因数分解し、C = T^{-1} ∘ C'（あるいは同等に C'_{#}μ_X = T_{#}μ_Y）とする。
• デバイアス除去: エントロピー正則化最適輸送問題を解いて、μ_Y を μ_Y' に押す輸送マップ T を得て、C' μ_X に一致させる。
• アップサンプリング: 高解像度の事前分布 p(x) を学習し、事後サンプリング p(x|E'_{ȳ'}) を実行する。ここで E'_{ȳ'} = {x: C'x = ȳ'}、条件付きサンプリングのために後処理済みデノイザーを使用。
• 事後条件付け: 中間の低解像空間での条件付けを課すために、C' の擬似逆行列を介して拡散デノイザーを変更する。
• 実装の詳細には VP スケジュールを用いたスコアベース拡散、スコアの Tweedie 公式、及び事後処理デノイザー（Eq. 7）を含む。
• OT によるデバイアス除去はエントロピック Sinkhorn で計算され、μ_Y を μ_Y' に押すバリセンター投影 T_{γ}(y) を得る。

Figure 1: (a) Upsampling (super-resolution) as frequency extrapolation in the Fourier domain. The model extrapolates low-frequency content to higher-frequencies (dashed blue). The debiasing map corrects the biased low-frequency content (solid red). (b) Illustration of the proposed framework where $\

実験結果

リサーチクエスチョン

• RQ1 非ペアの低解像データと高解像データをダウンスケールして、ターゲット統計を忠実に再現する高解像度出力を得られるか？
• RQ2 最適輸送によるデバイアス除去は、アップサンプリング前に低周波統計を高解像度分布へ効果的に整列させるか？
• RQ3 条件付き拡散モデルは p(x|C'x = y') から信頼性の高い高解像場をサンプリングし、物理的統計を保持できるか？
• RQ4 デバイアス除去とアップサンプリングを分離することと、エンドツーエンドの無ペアダウンスケーリング手法とでどのような利点があるか？

主な発見

指標	KS 8x (LFLR)	KS 8x (OT-corrected)	NS 8x (LFLR)	NS 8x (OT-corrected)	NS 16x (LFLR)	NS 16x (OT-corrected)
covRMSE↓	0.343	0.081	0.458	0.083	0.477	0.079
MELRu↓	0.201	0.020	1.254	0.013	0.600	0.016
MELRw↓	0.144	0.020	0.196	0.026	0.200	0.025
KLD↓	1.464	0.018	29.30	0.033	12.26	0.017

• OT デバイアス除去は、KSおよびNSテストの統計的一致を大幅に改善し、拡散ベースのアップサンプリングの下流性能を向上させる。
• OT補正済みの中間データで拡散を条件付けると、ターゲットエネルギースペクトルに近いサンプルが得られ、無条件またはデバイアスなしのベースラインと比較して発散が減少する。
• 提案手法は、8xおよび16xのダウンスケーリングで、NS の複数指標（covRMSE、MELR、KLD、Wasserstein、MMD）でベースライン（BCSD、cycleGAN、ClimAlign、ViTベースのアップサンプリング）を上回る。
• この枠組みは現実的な小スケール特徴と顕著な変動を提供し、確率的サンプリングを通じた不確実性の定量化を可能にする。
• OT 修正は重要であり、そうでなければ条件付けは拡散軌道のバイアス汚染により統計を劣化させる。
• 定性的な結果として、方法は複数のベースラインと比較して渦度場がよりシャープで物理的に妥当であることを示している。
• この手法は8xおよび16xのダウンスケーリングの両方で有効であり、大きな解像度ギャップにも頑健である。

Figure 2: (a) KS samples generated with diffusion model conditioned on LR information with and without OT correction applied, (b) empirical probability density function for relevant LR and HR samples in KS and (c) mode-wise log energy ratios with respect to the true samples (Eq. ( 13 ) without weigh