[論文レビュー] GibbsDDRM: A Partially Collapsed Gibbs Sampler for Solving Blind Inverse Problems with Denoising Diffusion Restoration

Naoki Murata, Koichi Saito+5 more|arXiv (Cornell University)|Jan 30, 2023

Image and Signal Denoising Methods被引用数 7

ひとこと要約

GibbsDDRMは、線形測定演算子が未知である盲目的逆問題に拡張された部分的崩壊ギブスサンプラーを提案する。事前学習済みの拡散モデルをデータ事前分布として活用し、演算子パラメータに一般的な事前分布を用いることで、微調整や演算子事前分布の学習を必要とせず、問題に依存しない高精度な再構成を実現する。この手法は、微調整なしに画像のぼかし除去とボーカルのリバーブ除去に高い性能を発揮する。

ABSTRACT

Pre-trained diffusion models have been successfully used as priors in a variety of linear inverse problems, where the goal is to reconstruct a signal from noisy linear measurements. However, existing approaches require knowledge of the linear operator. In this paper, we propose GibbsDDRM, an extension of Denoising Diffusion Restoration Models (DDRM) to a blind setting in which the linear measurement operator is unknown. GibbsDDRM constructs a joint distribution of the data, measurements, and linear operator by using a pre-trained diffusion model for the data prior, and it solves the problem by posterior sampling with an efficient variant of a Gibbs sampler. The proposed method is problem-agnostic, meaning that a pre-trained diffusion model can be applied to various inverse problems without fine-tuning. In experiments, it achieved high performance on both blind image deblurring and vocal dereverberation tasks, despite the use of simple generic priors for the underlying linear operators.

研究の動機と目的

• 線形測定演算子が未知である盲的な逆問題に対処すること。これは、画像処理や音声処理分野で一般的な課題である。
• 既存手法が演算子パラメータのための拡散モデルの学習を必要としているという制限を克服すること。これにより実用的応用が制限されていた。
• 異なる逆問題においても再訓練を必要とせず、単一の事前学習済み拡散モデルを用いて問題に依存しない推論を可能にすること。
• 継続的かつ効率的な事後分布サンプリングフレームワークを構築し、綺麗なデータと未知の線形演算子パラメータを同時に推定すること。
• データ駆動型事前分布の代わりに一般的な事前分布を用いることで、高品質な再構成を達成すること。

提案手法

• 事前学習済みの拡散モデルをデータ事前分布として、演算子パラメータに非情報的事前分布を用いて、データ、測定値、線形演算子パラメータの共同事後分布を構築する。
• 計算不能な条件付き分布を扱いやすい近似に置き換えることで、効率的な事後分布サンプリングを可能にする部分的崩壊ギブスサンプラー（PCGS）を採用する。
• 生成モデルの表現力を利用しながら、データ（または潜在変数）と線形演算子パラメータの間を交互にサンプリングする。
• スコア推定を用いたランジュバンダイナミクスを用いて演算子パラメータをサンプリングし、推論プロセスの安定性を向上させる。
• ノイズ除去拡散モデルを用いたスコアベース推論を統合し、データと演算子パラメータの両方の事後分布サンプリングをガイドする。
• 異なる逆問題においても事前学習済み拡散モデルの微調整を一切行わないことで、問題に依存しない推論を維持する。

実験結果

リサーチクエスチョン

• RQ1 線形演算子のための事前分布を学習または微調整することなく、事前学習済みの拡散モデルを盲的な逆問題に効果的に応用できるか？
• RQ2 部分的崩壊ギブスサンプラーは、データと演算子の同時推定における事後分布サンプリングの効率性と安定性をどのように向上させるか？
• RQ3 線形演算子パラメータに一般的な事前分布を用いることで、盲的な逆問題においてどれほど高品質な再構成が達成できるか？
• RQ4 GibbsDDRMは、BlindDPSなどの最先端手法と比較して、高ノイズ下における知覚的品質と頑健性において優れているか？
• RQ5 アーキテクチャ的・分布的適応なしに、画像のぼかし除去や音声のリバーブ除去といった多様な逆問題に一般化可能か？

主な発見

• GibbsDDRMは、FFHQデータセットにおいてLPIPSスコアが0.115と最低を記録し、真値との知覚的類似性が優れている。
• 盲的な画像のぼかし除去において、最適なハイパーパrameterを用いることでPSNRが39.28、FIDが25.64を達成し、一般的な事前分布を用いても強力な性能を示している。
• ボーカルのリバーブ除去において、信号の近接性が向上し、効果的なリバーブ除去が実現され、ベースライン手法を上回った。
• 演算子パラメータのランジュバンサンプリング戦略は、MAP推定よりも安定しており、1000枚のテスト画像におけるPSNRとLPIPSのヒストограмがより狭いことが示された。
• 測定ノイズが高い場合（σy = 1.0×10−3）でも、大きなぼかしカーネルに対しても忠実な画像を回復でき、高い性能を発揮した。
• ハイパーパramータチューニングの結果、LPIPSの最適設定とPSNRの最適設定が異なり、知覚的品質とピーク信号対ノイズ比の間にはトレードオフがあることが示された。