[論文レビュー] Image Restoration using Total Variation Regularized Deep Image Prior

Jiaming Liu, Yu Sun+2 more|arXiv (Cornell University)|Oct 30, 2018

Sparse and Compressive Sensing Techniques被引用数 15

ひとこと要約

この論文は、深層画像プライア (DIP) と全変動 (TV) 正則化を組み合わせることで再構成品質を向上させる、DIP-TV と呼ばれる新しい画像修復フレームワークを提案する。CNN生成器と明示的なTVペナルティを同時に最適化することで、ノイズ除去およびぼかし除去において、標準的なDIPおよびBM3D や IRCNN といった従来の手法を上回る、最新の性能を達成しており、特に高ノイズレベル下で顕著である。

ABSTRACT

In the past decade, sparsity-driven regularization has led to significant improvements in image reconstruction. Traditional regularizers, such as total variation (TV), rely on analytical models of sparsity. However, increasingly the field is moving towards trainable models, inspired from deep learning. Deep image prior (DIP) is a recent regularization framework that uses a convolutional neural network (CNN) architecture without data-driven training. This paper extends the DIP framework by combining it with the traditional TV regularization. We show that the inclusion of TV leads to considerable performance gains when tested on several traditional restoration tasks such as image denoising and deblurring.

研究の動機と目的

• 高ノイズ環境下における深層画像プライア (DIP) の限界を克服するため、明示的な正則化を組み込むこと。
• CNN の暗黙的な誘導バイアスと全変動 (TV) の区分的滑らかさの事前分布を組み合わせることで、画像修復性能を向上させること。
• 事前学習モデルや大規模データセットを必要とせず、DIP のデータフリー特性を維持したまま、競争力のある結果を達成すること。
• BM3D や IRCNN といった最新の手法との性能ギャップを、挑戦的な修復タスクにおいて埋めること。

提案手法

• 画像修復を、データ適合性と2つの正則化項を組み合わせた正則化最適化問題として定式化する。1つはDIPフレームワーク由来のCNN生成器の重み、もう1つは画像勾配に対する全変動 (TV) 正則化である。
• 入力ノイズベクトルを固定した状態で、ADAM や類似の確率的勾配法を用いて、CNN重みの反復的最適化により目的関数を最小化する。
• TV正則化は、水平および垂直方向の画像勾配の大きさに対する ℓ1-ノルムペナルティとして実装される。
• CNNアーキテクチャは、元のDIP論文に従い、アンラップドU-Netスタイルを採用し、スキップ接続を備え、事前学習を施さない。
• 最適化プロセスでは、データ適合性項を最小化するためのネットワーク重みの更新と、正則化項によるTVスパarsityの強制を交互に実行する。
• 本手法はグレースケールおよびカラー画像に適用可能であり、加法性白色ガウスノイズ (AWGN) 条件下でのノイズ除去およびぼかし除去に関する実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 明示的な全変動 (TV) 正則化の導入が、画像修復タスクにおける深層画像プライア (DIP) の性能向上に寄与するか？
• RQ2 DIP-TV は、標準的なDIPおよびBM3D や IRCNN といった従来の最新手法と比較して、PSNR および視覚的品質の面でどのように差をつけるか？
• RQ3 TV正則化は、DIP単体では構造的詳細を保持できなくなる可能性がある高ノイズレベル下でも、DIP のロバスト性を向上させるか？
• RQ4 暗黙のCNN事前分布と明示的なTV正則化の組み合わせが、より優れた区分的滑らかさおよびテクスチャ保持をどの程度達成するか？

主な発見

• 画像ノイズ除去において、DIP-TV は5 dB から20 dB のノイズレベルの範囲で、標準DIP より平均して0.5 dB のSNR向上を達成した。
• σ = 65 のMonarch画像において、DIP-TV はDIP より0.5 dB、BM3D より0.35 dB のSNR向上を達成した。
• 画像ぼかし除去において、Peppers画像ではDIPより0.45 dB 以上のPSNR向上を達成し、IRCNN よりも0.15 dB 優れた性能を示した。
• σ = 75 のカラー画像ノイズ除去において、DIP-TV は平均SNR 22.65 dB を達成し、DIP (22.05 dB) を上回り、BM3D (22.50 dB) と同等の性能を示した。また、画像に依存しない特性を保持した。
• ガウスノイズぼかし (σ = 2) 条件下で、グレースケール画像では平均PSNR 32.03 dB、カラー画像では34.09 dB を達成した。IRCNN の性能に僅か0.01 dB しか劣らなかった。
• 視覚的結果では、DIP-TV がノイズを効果的に抑制するとともに、細かいテクスチャや構造的詳細（例：塔のドア）を良好に保持しており、他の手法が歪ませた部分を明確に改善している。