[論文レビュー] Solving Inverse Problems with Latent Diffusion Models via Hard Data Consistency

Bowen Song, Soo Min Kwon+4 more|arXiv (Cornell University)|Jul 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

ReSample は latent diffusion models をデータの整合性を厳格に保つ手法で、一般的な線形・非線形の逆問題を解決し、最先端の結果を達成しつつメモリ使用量を削減します。

ABSTRACT

Diffusion models have recently emerged as powerful generative priors for solving inverse problems. However, training diffusion models in the pixel space are both data-intensive and computationally demanding, which restricts their applicability as priors for high-dimensional real-world data such as medical images. Latent diffusion models, which operate in a much lower-dimensional space, offer a solution to these challenges. However, incorporating latent diffusion models to solve inverse problems remains a challenging problem due to the nonlinearity of the encoder and decoder. To address these issues, we propose \textit{ReSample}, an algorithm that can solve general inverse problems with pre-trained latent diffusion models. Our algorithm incorporates data consistency by solving an optimization problem during the reverse sampling process, a concept that we term as hard data consistency. Upon solving this optimization problem, we propose a novel resampling scheme to map the measurement-consistent sample back onto the noisy data manifold and theoretically demonstrate its benefits. Lastly, we apply our algorithm to solve a wide range of linear and nonlinear inverse problems in both natural and medical images, demonstrating that our approach outperforms existing state-of-the-art approaches, including those based on pixel-space diffusion models.

研究の動機と目的

• 高次元逆問題に対する効率的な事前分布として潜在拡散モデル（LDMs）を用いる動機づけ。
• LDMのリバースサンプリング中に測定忠実度を強制するための厳格なデータ整合性を導入する。
• 測定と整合する潜在サンプルをデータ多様体へ再マッピングするリサンプリング方式を開発する。
• 性能とメモリ効率の向上を理論的保証と実証的証拠で提供する。
• 自然画像および医用画像における広範な線形・非線形逆問題への適用性を示す。

提案手法

• 潜在表現 z を用いてエンコーダ E とデコーダ D によって潜在空間で拡散モデルを動作させる。
• D(z) を介して得られるデータと測定 y との整合性を満たすよう、||y - A(D(z))||^2 を最小化する制約付き最適化を z に対して解くことで、条件なしのリバース更新を厳格なデータ整合性で置換する。
• 潜在最適化を Tweedie ベースの推定 z0_hat で初期化し、真の潜在に近い初期点から開始する。
• ノイズのあるデータ多様体へ最適化済み潜在を写像する確率的リサンプリングを導入し、継続的な逆拡散の後方サンプルのようなサンプルを形成する。
• 精度と計算のバランスを取るために、選択したリバース時間ステップのみでデータ整合性を適用するスキップステップ機構を用いる。
• リサンプリング latent の分散低減と不偏性を示す理論的結果を提供し、ハイパーパラメータ sigma^2 による分散制御について議論する。

実験結果

リサーチクエスチョン

• RQ1 一般的な（線形・非線形）逆問題に対して LDMs は効果的な事前分布として機能するだろうか？
• RQ2 潜在空間最適化による厳格なデータ整合性は、ソフト勾配ベースの更新と比べて測定忠実度と画像品質を改善するか？
• RQ3 提案された確率的リサンプリングは分散を低減し、潜在空間でのリバース拡散中にデータ整合性をより良く維持するか？
• RQ4 自然画像および医用画像タスクにおける ReSample とピクセル空間拡散アプローチとのメモリと計算上の影響はどうなるか？

主な発見

• ReSample は自然画像および医用画像における複数の線形・非線形逆問題で最先端の性能を達成する。
• 厳格なデータ整合性と潜在空間最適化および確率的リサンプリングの組み合わせは、競合法より高い PSNR/SSIM と低い LPIPS をもたらす。
• 確率的リサンプリングは分散を低減し、拡散時間 t が 0 に近づくと特に測定整合性を維持した滑らかな再構成を生み出す。
• 潜在空間で動作することによりメモリ効率の利点を提供し、ピクセル空間のベースラインと比べてメモリ使用量を大幅に削減する。
• アブレーションにより、確率的エンコーディングよりもリサンプリングの利点と、CT再構成タスクにおけるリサンプリング頻度の価値が示される。