[論文レビュー] Improving Diffusion Models for Inverse Problems using Manifold Constraints

Hyungjin Chung, Byeongsu Sim+2 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Neuroimaging Techniques and Applications被引用数 101

ひとこと要約

本論文は、逆問題に対する無条件拡散モデルソルバーを補完するマニホールド制約勾配（MCG）項を提案し、データ多様体上の反復経路を維持して再構成を向上させ、インペインティング、カラー化、スパースビューCTなどのタスクで改善をもたらします。理論的正当性と、従来の拡散ベースおよび教師付き手法に対する顕著な向上を示す広範な実験を提供します。

ABSTRACT

Recently, diffusion models have been used to solve various inverse problems in an unsupervised manner with appropriate modifications to the sampling process. However, the current solvers, which recursively apply a reverse diffusion step followed by a projection-based measurement consistency step, often produce suboptimal results. By studying the generative sampling path, here we show that current solvers throw the sample path off the data manifold, and hence the error accumulates. To address this, we propose an additional correction term inspired by the manifold constraint, which can be used synergistically with the previous solvers to make the iterations close to the manifold. The proposed manifold constraint is straightforward to implement within a few lines of code, yet boosts the performance by a surprisingly large margin. With extensive experiments, we show that our method is superior to the previous methods both theoretically and empirically, producing promising results in many applications such as image inpainting, colorization, and sparse-view computed tomography. Code available https://github.com/HJ-harry/MCG_diffusion

研究の動機と目的

• タスク特化した学習を用いず、一般的な線形逆問題に対する教師なし拂散モデルソルバーの動機づけ。
• データ多様体上に拡散経路を保持するマニホールド制約勾配項の導入。
• 安定性と精度を向上させるため、Tweedieベースのデノイズ手法とデータ整合性勾配を統合。
• データ多様体の接空間に勾配が留まることを示す理論的正当性の提供。
• インペインティング、カラー化、CT再構成にわたる実証的な向上を示す。

提案手法

• 従来の手法と同様に、逆拡散ステップ内で無条件スコア関数を用い、測定データの整合性射影を行う。
• 測定項の勾配をデータ多様体へ射影するマニホールド制約勾配（MCG）を、Q_i および J_{Q_i} を介して導入する。
• MCG補正を接空間射影として導出する：∂/∂x_i ||W(y−Hx̂0)||^2 を接空間 T_{x̂0}M 上で。
• Tweedieのデノイズ哲学を取り入れ、単一ステップのデノイズ補正を正当化し、それをマニホールド制約と結びつける。
• MCGステップを通常のデータ整合性射影と組み合わせ、データ忠実度を保ちながら多様体上に留める。
• 強い多様体仮定の下で、定理1を含む理論的結果と幾何学的解釈を提供。

実験結果

リサーチクエスチョン

• RQ1 問題固有の学習なしに、マニホールド対応補正項は拡散ベースの逆問題解法を改善できるか？
• RQ2 マニホールド制約勾配は拡散経路をデータ多様体に近づけ、誤差蓄積を減らすか？
• RQ3 MCGは実践で標準的な射影ベースのデータ整合性およびTweedieのデノイズとどのように相互作用するか？
• RQ4 インペインティング、カラー化、CT再構成など多様な逆問題でどのような性能向上が得られるか？
• RQ5 さまざまな測定マスクおよびNFEs（数値評価回数）に対して手法は頑健か？

主な発見

• MCGは反復経路をデータ多様体上に保ち、誤差蓄積を減らす。
• 投影と組み合わせたMCGはデータ整合性を達成し、複数のタスクで従来の拡散ベース法より再構成を改善。
• MCGはinpainting(FFHQ/ImageNet)、colorization(FFHQ/LSUN-bedroom)、CT再構成(AAPM dataset)でScore-SDE、DDRM、RePAINTなどのベースラインを上回る。
• アブレーションは、MCGのみの使用がLPIPSを改善する一方で測定整合性を損ねる可能性があることを示し、MCGと射影の組み合わせが最良の結果をもたらす。
• 定性的結果は、MCGを用いた再構成がより高忠実度で、インペインティングにおける境界アーティファクトの減少を含むことを示す。