[論文レビュー] SNIPS: Solving Noisy Inverse Problems Stochastically

Bahjat Kawar, Gregory Vaksman+1 more|arXiv (Cornell University)|May 31, 2021

Sparse and Compressive Sensing Techniques参考文献 59被引用数 7

ひとこと要約

SNIPSは、劣化演算子の特異値分解（SVD）を用いて事前学習済みMMSEガウスノイズ除去器を統合することで、ノイズあり線形逆問題の事後分布から高品質で多様なサンプルを抽出する確率的サンプリングアルゴリズムを導入する。この手法は、ラングジュアン動力学とニュートン法を組み合わせ、事後分布のスコア関数を扱いやすい形に導出し、ぼかし除去、スーパーレンジング、圧縮センシングにおいて、明確で視覚的に正確な再構成を実現する。

ABSTRACT

In this work we introduce a novel stochastic algorithm dubbed SNIPS, which draws samples from the posterior distribution of any linear inverse problem, where the observation is assumed to be contaminated by additive white Gaussian noise. Our solution incorporates ideas from Langevin dynamics and Newton's method, and exploits a pre-trained minimum mean squared error (MMSE) Gaussian denoiser. The proposed approach relies on an intricate derivation of the posterior score function that includes a singular value decomposition (SVD) of the degradation operator, in order to obtain a tractable iterative algorithm for the desired sampling. Due to its stochasticity, the algorithm can produce multiple high perceptual quality samples for the same noisy observation. We demonstrate the abilities of the proposed paradigm for image deblurring, super-resolution, and compressive sensing. We show that the samples produced are sharp, detailed and consistent with the given measurements, and their diversity exposes the inherent uncertainty in the inverse problem being solved.

研究の動機と目的

• 不適切な逆問題における平均二乗誤差（MSE）ベースの手法がもたらす洗練されず、細部の少ない再構成の限界を克服する。
• 加法的白色ガウスノイズによって汚染された測定値を伴うノイズあり線形逆問題における事後分布からのサンプリングの課題を克服する。
• 従来、ノイズなしの場合に限られていたラングジュアンベースのサンプリング手法を、現実的でノイズありの観測に一般化する。
• 不適切な逆問題に内在する不確実性を反映する多様で視覚的に優れたサンプルを生成可能にする。
• 確率的サンプリングフレームワークに事前学習済みMMSEノイズ除去器を統合し、サンプルの忠実性と多様性を向上させる。

提案手法

• 劣化演算子Hの特異値分解（SVD）を用いて、逆問題の事後スコア関数を信号成分の分離によって定式化する。
• ノイズ除去器の摂動に対する感度と信号の特異値との関係を活用し、事後スコアの取り扱いやすい近似を導出する。
• 事後分布の対数のヘッセ行列から導出される位置依存ステップサイズ行列を用いて、ラングジュアン動力学とニュートン型更新を組み合わせる。
• ノイズ除去器のヤコビアンと特異値分解を用いて、事後分布のヘッセ行列を近似し、効率的で安定したサンプリングを実現する。
• 負の逆ヘッセ行列の対角近似を用いて、信号成分ごとに適応的なステップサイズを定義し、収束性と安定性を向上させる。
• ノイズ除去器をラングジュアン更新におけるスコア補正子として統合し、測定値と整合性を保ちつつ視覚的品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 加法的白色ガウスノイズを伴うノイズあり線形逆問題に、ラングジュアンサンプリングを効果的に拡張できるか？
• RQ2 劣化演算子Hが非自明で、観測値にノイズが含まれる状況下で、事後スコア関数を扱いやすい形に導出できるか？
• RQ3 Hの特異値分解（SVD）が、事後分布からの安定的かつ効率的なサンプリングを可能にする役割は何か？
• RQ4 事前学習済みMMSEノイズ除去器を確率的サンプリングフレームワークに統合することで、サンプル品質と多様性をどのように向上できるか？
• RQ5 提案手法は、MSE最小化アプローチに比べて、視覚的品質と不確実性の表現においてどの程度優れているか？

主な発見

• SNIPSは、重度に劣化した観測値に対しても、事後分布から複数の高視覚的品質のサンプルを生成でき、不確実性を捉える能力を示している。
• 生成されたサンプルはシャープで詳細が豊かであり、ノイズのある測定値と整合的であり、標準的なMMSE再構成より視覚的品質が優れている。
• ヘッセ行列から導出される位置依存ステップサイズ行列の使用は、一様なステップサイズと比較して収束性と安定性を顕著に向上させる。
• ぼかし除去、スーパーレンジング、圧縮センシングの分野で、タスク固有の訓練にほとんど依存せずに最先端の視覚的品質を達成している。
• 従来のMSEベースの手法が細部を保持できなくなる高ノイズレベルでも、アルゴリズムは安定的かつ効果的であり続ける。
• 事前学習済みノイズ除去器をサンプリングループに統合することで、再学習なしに高忠実度の結果が得られ、実用的で効率的な手法であることが示された。