[論文レビュー] The Little Engine that Could: Regularization by Denoising (RED)

Yaniv Romano, Michael Elad+1 more|arXiv (Cornell University)|Nov 9, 2016

Image and Signal Denoising Methods参考文献 47被引用数 10

ひとこと要約

この論文は、逆問題最適化における明示的正則化項として事前学習済みのノイズ除去アルゴリズムを用いる、Regularization by Denoising (RED) と呼ばれる新しいフレームワークを提案する。Plug-and-Play Prior (P³) 法とは異なり、明確で画像に適応するラプラシアンベースの正則化関数を定式化することで、柔軟な最適化とグローバル収束を可能にし、ぼかし回復およびスーパーレゾolutionで最先端の結果を達成した。

ABSTRACT

Removal of noise from an image is an extensively studied problem in image processing. Indeed, the recent advent of sophisticated and highly effective denoising algorithms lead some to believe that existing methods are touching the ceiling in terms of noise removal performance. Can we leverage this impressive achievement to treat other tasks in image processing? Recent work has answered this question positively, in the form of the Plug-and-Play Prior ($P^3$) method, showing that any inverse problem can be handled by sequentially applying image denoising steps. This relies heavily on the ADMM optimization technique in order to obtain this chained denoising interpretation. Is this the only way in which tasks in image processing can exploit the image denoising engine? In this paper we provide an alternative, more powerful and more flexible framework for achieving the same goal. As opposed to the $P^3$ method, we offer Regularization by Denoising (RED): using the denoising engine in defining the regularization of the inverse problem. We propose an explicit image-adaptive Laplacian-based regularization functional, making the overall objective functional clearer and better defined. With a complete flexibility to choose the iterative optimization procedure for minimizing the above functional, RED is capable of incorporating any image denoising algorithm, treat general inverse problems very effectively, and is guaranteed to converge to the globally optimal result. We test this approach and demonstrate state-of-the-art results in the image deblurring and super-resolution problems.

研究の動機と目的

• 逆画像処理における既存のプラグアンドプレイ手法の限界を克服し、より原理的かつ柔軟な正則化フレームワークを提供すること。
• Plug-and-Play Prior (P³) の暗黙的かつ定義が曖昧な正則化を克服し、正則化を明示的かつ数学的に明確に定義すること。
• 一般の逆問題において任意のノイズ除去アルゴリズムを正則化項として使用可能にするとともに、収束性と安定性を保証すること。
• ノイズ除去を段階的ノイズ除去ステップとしてではなく、正則化関数として扱う統一的で最適化ベースのフレームワークを提供すること。
• 本手法の有効性を、画像のぼかし回復やスーパーレゾリューションといった挑戦的な逆問題において示すこと。

提案手法

• ノイズ除去エンジンから導出された明示的で画像に適応するラプラシアンベースの正則化関数を提案。定義は $ \rho_L(\mathbf{x}) = \frac{1}{2} \| \nabla_{\mathbf{x}} f(\mathbf{x}) \|_F^2 $ であり、$ f $ はノイズ除去器を表す。
• 逆問題を正則化された目的関数の最小化として再定式化：$ \min_{\mathbf{x}} \| \mathbf{y} - \mathbf{Hx} \|_2^2 + \lambda \rho_L(\mathbf{x}) $、ここで $ \mathbf{H} $ は劣化演算子を表す。
• 固定点反復を用いて最適化問題を解き、ノイズ除去器の勾配を活用して、緩い条件下でも収束を保証する。
• ノイズ除去器が微分可能であり、そのヤコビ行列に対して受動性条件 $ \| \nabla_{\mathbf{x}} f(\mathbf{x}) \|_2 \leq 1 $ を満たすことを要件とすることで収束を保証する。
• BM3D、NLM、K-SVD、CNNベースのアルゴリズムなど、任意のノイズ除去アルゴリズムを正則化項として埋め込み、多様な逆問題におけるプラグアンドプレイ利用を可能にする。
• P³がADMMに依存するのとは異なり、本手法は任意の反復的最適化スキームを用いることができ、収束のロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去アルゴリズムを、反復的スキーム内のブラックボックスステップではなく、明示的かつ明確に定義された正則化項として逆問題に利用できるか？
• RQ2 ノイズ除去器の勾配を用いて正則化を定式化することで、暗黙のプライオリティに比べ、より安定的かつ収束性の高い最適化フレームワークが得られるか？
• RQ3 提案されたREDフレームワークは、P³などの既存のプラグアンドプレイ手法に比べ、標準的な逆問題でより優れた性能を発揮するか？
• RQ4 ノイズ除去器が微分可能でヤコビ行列が有界であるといった緩い仮定のもとで、最適化プロセスの収束が保証されるか？
• RQ5 本フレームワークは、ぼかし回復やスーパーレゾリューションを含む多様な逆問題に、最小限の変更で適用可能か？

主な発見

• REDは、ぼかし回復およびスーパーレゾリューションにおいて最先端の性能を達成し、P³や他のノイズ除去ベースの手法を上回った。
• ノイズ除去器が微分可能でヤコビ行列が受動性条件を満たすといった緩い仮定のもとで、グローバル収束が保証された。
• 正則化関数は明示的に定義されており、ノイズ除去器の勾配から導出されており、最適化目的関数が明確で数学的に整合的である。
• フレームワークは柔軟で、BM3D や K-SVD などの非線形的かつ非凸なノイズ除去器を含め、任意のノイズ除去アルゴリズムを正則化項としてサポートする。
• P³がADMMに依存するのとは異なり、本手法は任意の反復的最適化スキームを用いることができ、収束性のロバスト性が向上した。
• 実験結果から、REDはさまざまなノイズレベルや劣化モデルにおいて、高い品質の再構成を維持しており、ベンチマークタスクでPSNRおよびSSIM値が向上した。