[論文レビュー] Plug-and-Play image restoration with Stochastic deNOising REgularization

Marien Renaud, Jean Prost+2 more|arXiv (Cornell University)|Feb 1, 2024

Photoacoustic and Ultrasonic Imaging被引用数 1

ひとこと要約

本稿では、SNORE（Stochastic deNOising REgularization）を提案する。これは、各反復で現在の画像推定値のノイズありバージョンに事前学習済みのノイズ除去器を適用することで、ノイズ除去器が訓練済みのノイズ分布内にとどまるように保証する、新しいプラグアンドプレイ（PnP）画像修復フレームワークである。この手法により理論的保証のもとで収束が達成され、デブリングおよびインpaintingのタスクで最先端の性能を達成しており、定量的・定性的なベンチマークにおいて、標準的なPnPおよび拡散ベースの手法を上回っている。

ABSTRACT

Plug-and-Play (PnP) algorithms are a class of iterative algorithms that address image inverse problems by combining a physical model and a deep neural network for regularization. Even if they produce impressive image restoration results, these algorithms rely on a non-standard use of a denoiser on images that are less and less noisy along the iterations, which contrasts with recent algorithms based on Diffusion Models (DM), where the denoiser is applied only on re-noised images. We propose a new PnP framework, called Stochastic deNOising REgularization (SNORE), which applies the denoiser only on images with noise of the adequate level. It is based on an explicit stochastic regularization, which leads to a stochastic gradient descent algorithm to solve ill-posed inverse problems. A convergence analysis of this algorithm and its annealing extension is provided. Experimentally, we prove that SNORE is competitive with respect to state-of-the-art methods on deblurring and inpainting tasks, both quantitatively and qualitatively.

研究の動機と目的

• 標準的なPnP手法の限界、すなわちノイズ除去器が次第に綺麗な画像に適用されることで発生する分布シフトを是正すること。
• 各反復でノイズを注入することで、ノイズ除去器の有効性を維持する理論的根拠に基づいたPnPアルゴリズムの開発。
• 拡散モデルの高品質な結果とPnP手法の理論的収束保証の間のギャップを埋めること。
• 入力ノイズレベルをノイズ除去器のノイズレベルに一致させることで、ノイズ除去器が訓練ドメイン内にとどまるように保証すること。
• 不適切なノイズレベルに起因するノイズ除去器の性能低下を防ぐ、ロバストで収束性の高い確率的正則化フレームワークの提供。

提案手法

• SNOREは、標準的な負の対数事前分布の代わりに、ノイズあり画像バージョンの滑らか化された事前分布の期待値として定義される確率的正則化項を導入する。
• 各反復で、アルゴリズムは ˜xk = xk + σϵ で定義されるノイズありバージョン ˜xk を生成し、ϵ ∼ N(0, Id) に従う。その後、このノイズあり画像にノイズ除去器 Dσ を適用する。
• 変分目的関数を最小化するために確率的勾配降下法（アルゴリズム2）を用い、正則化のための近接作用素の代わりにノイズ除去ステップを用いる。
• 収束性と安定性の向上を図るため、アニーリング重要度サンプリングにインspiredしたアニーリング版（アルゴリズム3）を提案する。
• 理論的分析により、有界性仮定のもとで確率的勾配降下法のほとんど確実な収束が証明され、不正確なノイズ除去器に対しても誤差バウンドが得られる。
• 本フレームワークは、近接型および勾配ベースのPnPスキームの両方と互換性があり、既存のソルバーへの柔軟な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 PnPフレームワークに各反復でノイズを注入することで、ノイズ除去器の適用の一貫性をその訓練分布に適合させることができるか？
• RQ2 ノイズ除去器の訓練分布に一致するノイズレベルの画像にノイズ除去器を適用することで、収束性と修復品質が向上するか？
• RQ3 確率的正則化フレームワークは、拡散モデルと同等の性能を維持しつつ、理論的収束保証を達成できるか？
• RQ4 SNOREの反復過程において、画像推定値のノイズレベルはどのように変化し、ノイズ除去器のノイズレベル付近に安定するか？
• RQ5 不正確またはMMSEでないノイズ除去器を用いることで、SNOREアルゴリズムの収束性と最終的な画像品質にどのような影響が生じるか？

主な発見

• SNOREは、デブリングおよびインpaintingタスクで最先端の性能を達成しており、定量的指標および視覚的品質の両面で、標準的なPnPおよび最近の拡散ベース手法を上回っている。
• SNOREの反復におけるノイズレベルは、ノイズ除去器のノイズレベル σ に収束することが確認され、ノイズ除去器が意図された分布ドメイン内にとどまっていることを裏付けている。
• 一方、REDでは収束時に入力ノイズレベルとノイズ除去器のノイズレベルの間で持続的なシフトが観察され、分布シフトが生じていることが示された。
• SNOREのアニーリング版は、段階的にノイズレベルを低下させることで、特に初期反復において収束性と安定性が向上している。
• 理論的分析により、有界性仮定のもとで確率的勾配降下法のほとんど確実な収束が確認され、不正確なノイズ除去器に対しても誤差バウンドが得られた。
• SNOREは、画像推定値に残存する残留ノイズに対してロバストであり、ノイズ推定値が自然なノイズレベルに収束することが示された。