[論文レビュー] Averaged Deep Denoisers for Image Regularization

Pravin Nair, Kunal N. Chaudhury|arXiv (Cornell University)|Jul 15, 2022

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本稿では、プラグアンドプレイ（PnP）およびレギュライゼーション・バイ・ノイズ除去（RED）アルゴリズムを用いて、証明可能な平均化（収縮的）な深層ノイズ除去器を構築するための新規フレームワークを提案する。ウェーブレットに基づくノイズ除去のためのISTAおよびADMM反復をアンフォールドすることで、収縮性を保証する収束保証が得られ、CNNベースのノイズ除去器と同等の性能を達成するとともに理論的安定性を提供する。

ABSTRACT

Plug-and-Play (PnP) and Regularization-by-Denoising (RED) are recent paradigms for image reconstruction that leverage the power of modern denoisers for image regularization. In particular, they have been shown to deliver state-of-the-art reconstructions with CNN denoisers. Since the regularization is performed in an ad-hoc manner, understanding the convergence of PnP and RED has been an active research area. It was shown in recent works that iterate convergence can be guaranteed if the denoiser is averaged or nonexpansive. However, integrating nonexpansivity with gradient-based learning is challenging, the core issue being that testing nonexpansivity is intractable. Using numerical examples, we show that existing CNN denoisers tend to violate the nonexpansive property, which can cause PnP or RED to diverge. In fact, algorithms for training nonexpansive denoisers either cannot guarantee nonexpansivity or are computationally intensive. In this work, we construct contractive and averaged image denoisers by unfolding splitting-based optimization algorithms applied to wavelet denoising and demonstrate that their regularization capacity for PnP and RED can be matched with CNN denoisers. To our knowledge, this is the first work to propose a simple framework for training contractive denoisers using network unfolding.

研究の動機と目的

• 非拡大的ノイズ除去器を用いたPnPおよびREDアルゴリズムの不安定性、特に発散を引き起こす可能性を是正すること。
• PnPおよびRED反復における収束を保証するように、ノイズ除去器が収縮的（平均化的）であることを保証するトレーニングフレームワークの開発。
• 計算的に高価なチェックや制約を回避する、既存の非拡大的ノイズ除去器トレーニングの単純で効率的な代替策の提供。
• アンフォールドによって構築されたウェーブレットベースのノイズ除去器が、最先端のCNNベースのノイズ除去器と同等の正則化性能を達成できることの実証。
• 作用素理論および平均化性の性質を用いて、提案されたノイズ除去器の収縮性および平均化性に関する理論的基盤の確立。

提案手法

• 全変動に基づくウェーブレットノイズ除去のための反復的ス hrinkage-Thresholding Algorithm (ISTA) および交替方向増分乗数法（ADMM）を、深層ネットワークアーキテクチャにアンフォールドする。
• ISTA/ADMM反復の複数層のアンフォールドを積み重ねることで、学習可能でパラメータ化された作用素としてノイズ除去器を構築する。
• 基本となるウェーブレットノイズ除去器（ピクセル単位）が収縮的または平均化的であれば、局所的作用素の平均化により、全体のノイズ除去器も収縮的または平均化的であることを数学的に証明する。
• 重なりのあるピクセル領域全体に対してピクセルベースの平均化スキームを用い、全体のノイズ除去器を局所的ノイズ除去作用素の均一平均として表現する。
• 収縮的または平均化的作用素の平均化が、収縮性および平均化性を保つ性質を用い、PnPおよびREDにおける理論的収束を保証する。
• 結果として得られるノイズ除去器が、証明可能な非拡大的かつ収縮的であることを示し、勾配ベースのトレーニングにおける非拡大性のチェックが不要なPnPおよびREDの収束保証を可能にする。

(a) BM3D.

実験結果

リサーチクエスチョン

• RQ1 PnPおよびREDフレームワークにおける収束を保証するために、証明可能な収縮的（平均化的）な深層ノイズ除去器を構築することは可能か？
• RQ2 理論的根拠に基づいた非拡大的ノイズ除去器アーキテクチャを用いて、PnP/REDにおけるCNNベースのノイズ除去器の性能に匹敵することは可能か？
• RQ3 硬い制約を課すことなく、アンフォールドによるトレーニングで、元の最適化アルゴリズム（例：ISTA/ADMM）の収縮性をノイズ除去器が継承することは可能か？
• RQ4 アンフォールドされたネットワークの平均化構造は、重なりのあるピクセル領域全体にわたり、どのように収縮性を保つのか？
• RQ5 ピクセル単位のノイズ除去器の収縮性と、平均化によって構築された全体のノイズ除去器との間には、理論的関係があるか？

主な発見

• 提案手法は、ウェーブレットベースのノイズ除去のためのISTAおよびADMMのアンフォールドにより、証明可能な収縮的深層ノイズ除去器を構築する。
• 数学的証明により、基本となるピクセル単位のノイズ除去器が収縮的であれば、作用素の平均化を用いて、結果として得られるノイズ除去器も収縮的（すなわち平均化的）であることが示された。
• 既存のCNNベースのノイズ除去器が非拡大性を満たさず発散を引き起こす場合が多いのに対し、本手法はPnPおよびREDアルゴリズムの収束を保証する。
• 数値実験により、提案されたノイズ除去器がPnPおよびRED設定において、最先端のCNNベースのノイズ除去器と同等の再構成性能を達成することが確認された。
• 勾配ベースのトレーニングにおける非拡大性の検証に必要な非現実的で高コストなチェックを回避する、計算的に効率的なフレームワークである。
• 本研究は、アンフォールドを用いた証明可能な平均化ノイズ除去器のエンドツーエンドトレーニングフレームワークを初めて確立し、PnPおよびREDにおける理論的収束性の重要なギャップを埋めた。

(b) DnCNN.