[論文レビュー] DeepRED: Deep Image Prior Powered by RED

Gary Mataev, Michael Elad+1 more|arXiv (Cornell University)|Mar 25, 2019

Image and Signal Denoising Methods参考文献 33被引用数 35

ひとこと要約

DeepRED は Deep Image Prior を Denoising による正則化と組み合わせ、ADMM を用いて生成ネットワークとディノイザーに基づく事前情報を共同最適化します。これにより、非教師ありの画像復元性能が、ノイズ除去、超解像、ブラー除去全般で向上します。

ABSTRACT

Inverse problems in imaging are extensively studied, with a variety of strategies, tools, and theory that have been accumulated over the years. Recently, this field has been immensely influenced by the emergence of deep-learning techniques. One such contribution, which is the focus of this paper, is the Deep Image Prior (DIP) work by Ulyanov, Vedaldi, and Lempitsky (2018). DIP offers a new approach towards the regularization of inverse problems, obtained by forcing the recovered image to be synthesized from a given deep architecture. While DIP has been shown to be quite an effective unsupervised approach, its results still fall short when compared to state-of-the-art alternatives. In this work, we aim to boost DIP by adding an explicit prior, which enriches the overall regularization effect in order to lead to better-recovered images. More specifically, we propose to bring-in the concept of Regularization by Denoising (RED), which leverages existing denoisers for regularizing inverse problems. Our work shows how the two (DIP and RED) can be merged into a highly effective unsupervised recovery process while avoiding the need to differentiate the chosen denoiser, and leading to very effective results, demonstrated for several tested problems.

研究の動機と目的

• 画像処理における非教師あり逆問題解決を動機づけ、DIP を明示的な正則化事前情報で強化する。
• DIP の暗黙的正則化を補強するために Regularization by Denoising (RED) を活用する。
• DIP+RED 目的関数を訓練しつつディノイザーを微分することを避ける、ADMM ベースの最適化スキームを開発する。
• ノイズ除去、SISR、ブラー除去で DeepRED が DIP および RED を上回る性能を示す。

提案手法

• DeepRED 目的関数を、DIP 再構成誤差と RED 事前情報を組み合わせて定式化する: min_{x, Theta} 1/2 ||H T_theta(z) - y||^2_2 + (lambda/2) x^T (x - f(x)) ただし x = T_theta(z)。
• x = T_theta(z) 制約を扱うために拡張ラグランジアンを使用し、Theta、x、ラグランジュ乗数 u の交互更新を導出する。
• Eq. 7 のように、データ整合性項と近接項を最小化して T_theta(z) が x - u に近い状態を保つよう Theta を更新する。
• RED ベースのノイズ除去を用いて T_theta(z) + u を x に更新する。固定点反復 (Eq. 11) または 最急降下法ステップ (Eq. 12) のいずれか。
• ADMM の規則で u <- u - x + T_theta(z) に従い対となる。
• ADMM サイクルごとに RED 反復を J=1 回用い、必要に応じて Theta 更新と並行してデノイザーを実行して計算を高速化する。

実験結果

リサーチクエスチョン

• RQ1 RED 正則化は DIP ベースの非教師あり画像復元フレームワークを改善できるか？
• RQ2 組み合わせ DIP+RED (DeepRED) はノイズ除去、SISR、ブラー除去の各課題で個別の DIP および RED を上回るか？
• RQ3 デノイザーを微分せずに ADMM を用いて jointly DIP+RED 目標を最適化することは可能か？
• RQ4 SISR およびブラー除去における DeepRED の性能は、非教師あり手法および一部の教師あり手法と比してどうか？
• RQ5 ADMM を介して DIP と RED を統合する際の実用的考慮事項（速度、収束など）は何か？

主な発見

• DeepRED は ノイズ除去で DIP および RED より PSNR を向上させる（例: テスト画像で DIP 平均 30.53 dB に対して DeepRED 31.24 dB）。
• SISR では DeepRED は一貫して DIP および RED を上回り、いくつかのデータセットとスケールで監視下手法に近づく/追いつく（例: 表 2–4 に示す 4:1 および 8:1 のアップスケーリング結果）。
• 画像ブラー除去では DeepRED は複数のブラータイプと画像で DIP, RED, いくつかのベースラインを上回る（例: 表 5 のカラー、表 6 のグレースケールで報告された平均改善）。
• DeepRED は、一貫した損失低下と ADMM 制約ギャップの縮小を伴う堅牢な数値挙動を示す一方、RED は DIP の過学習を緩和する正則化を提供する。