[論文レビュー] Deep Generalized Unfolding Networks for Image Restoration

Chong Mou, Qian Wang+1 more|arXiv (Cornell University)|Apr 28, 2022

Advanced Image Processing Techniques被引用数 14

ひとこと要約

本稿では、学習可能な勾配推定モジュールと段階間特徴統合を統合することで、画像復元におけるProximal Gradient Descent (PGD) を一般化する微分可能で解釈可能な深層学習フレームワーク、Deep Generalized Unfolding Networks (DGUNet) を提案する。この手法は、ノイズ除去、雨除去、圧縮センシングを含む多様な画像復元タスクで最先端の性能を達成しており、事前に定義された劣化モデルを必要とせず、現実世界の複雑な劣化に対して透明性と頑健性を維持している。

ABSTRACT

Deep neural networks (DNN) have achieved great success in image restoration. However, most DNN methods are designed as a black box, lacking transparency and interpretability. Although some methods are proposed to combine traditional optimization algorithms with DNN, they usually demand pre-defined degradation processes or handcrafted assumptions, making it difficult to deal with complex and real-world applications. In this paper, we propose a Deep Generalized Unfolding Network (DGUNet) for image restoration. Concretely, without loss of interpretability, we integrate a gradient estimation strategy into the gradient descent step of the Proximal Gradient Descent (PGD) algorithm, driving it to deal with complex and real-world image degradation. In addition, we design inter-stage information pathways across proximal mapping in different PGD iterations to rectify the intrinsic information loss in most deep unfolding networks (DUN) through a multi-scale and spatial-adaptive way. By integrating the flexible gradient descent and informative proximal mapping, we unfold the iterative PGD algorithm into a trainable DNN. Extensive experiments on various image restoration tasks demonstrate the superiority of our method in terms of state-of-the-art performance, interpretability, and generalizability. The source code is available at https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration.

研究の動機と目的

• 画像復元におけるブラックボックス型深層ニューラルネットワークの解釈性と一般化の欠如に対処すること。
• 既存の深層アンフォールディングネットワーク(DUNs)が既知または手作業で作成された劣化モデルを必要としているという制限を克服すること。
• 各段階での画像再構築に起因する内在的な情報損失を軽減すること。
• 複雑な現実世界の画像劣化に一般化可能な構造的で最適化に基づくネットワークのエンドツーエンド学習を可能にすること。
• モデルベース手法の解釈可能性と深層学習の表現力・効率性を統合すること。

提案手法

• 画像復元をProximal Gradient Descent (PGD) を用いた最適化問題として定式化し、それを深層ニューラルネットワークアーキテクチャにアンフォールディングする。
• 劣化行列Aの事前知識がなくても動作可能な柔軟な勾配降下モジュール（FGDM）を導入し、複雑な現実世界の劣化に対処できるようにする。
• PGDの各反復間でマルチスケールで空間的に適応的な特徴を保持・伝達する段階間特徴統合パス（ISFF）を設計し、各段階での画像再構築に起因する情報損失を是正する。
• ISFFモジュールは空間的に適応的な正規化を用いて、異なるスケールからの特徴を動的に重み付けし、特徴表現の忠実性を向上させる。
• ネットワーク全体をエンドツーエンドで学習可能であり、アンフォールディングプロセスと学習可能なコンponents（FGDMおよびISFFモジュール含む）の共同最適化を可能にする。
• データ適合項と正則化項を適宜調整することで、ノイズ除去、ぼかし除去、雨除去、圧縮センシングといった複数の画像復元タスクにフレームワークを適用する。

Figure 1 : Real image denoising performance (y-axis) of our DGUNet and some recent denoisers (VDNet [ 75 ] , GDANet [ 76 ] , AINDNet [ 33 ] , MIRNet [ 78 ] , DeamNet [ 53 ] , MPRNet [ 79 ] ) under different parameter capacities (x-axis) on DND [ 52 ] dataset.

実験結果

リサーチクエスチョン

• RQ1 明示的な劣化モデルが不要な状態で、深層アンフォールディングネットワークを複雑な現実世界の画像劣化に対して頑健にできるか。
• RQ2 深層アンフォールディングネットワークの各段階での画像再構築に起因する情報損失を効果的に軽減できるか。
• RQ3 学習可能な勾配推定モジュールを組み込むことで、画像復元における性能と一般化能力がどの程度向上するか。
• RQ4 マルチスケールおよび空間的に適応的なメカニズムを有する段階間特徴統合が、特徴表現とモデル性能を向上させるか。
• RQ5 微分可能で最適化に基づく深層ネットワークが、解釈性を維持しながら最先端の性能を達成できるか。

主な発見

• DNDデータセットにおいてDGUNetはMPRNetを0.32 dB向上させる最先端の性能を達成した。
• SIDDデータセットでは、DGUNetはMPRNetを0.20 dB向上させ、現実世界のノイズに対して強い頑健性を示した。
• 1%のサンプリングレートにおける圧縮センシングでは、DGUNetはOPINENet+に対して2 dBの向上を達成し、低サンプリング領域での有効性を示した。
• アブレーションスタディの結果、ISFFモジュールを削除すると性能が低下し、段階間の特徴情報保持においてその重要性が確認された。
• FGDMモジュールは性能に大きく寄与しており、Rain100Hでそのモジュールを削除するとPSNRが0.55 dB低下し、解釈性以上の価値を示した。
• 本手法は合成および現実世界のベンチマークを問わず多様なタスクに良好に一般化され、PSNRおよびSSIMの両面で一貫した向上が得られた。

Figure 2 : Illustration of our proposed deep generalized unfolding network (DGUNet). We present the overall architecture in the first row, mainly composed of several stages. Each stage corresponds to an iteration in the PGD algorithm. The second row presents the detailed design of each stage, contai