[論文レビュー] Residual Dense Network for Image Restoration

Yulun Zhang, Yapeng Tian+3 more|arXiv (Cornell University)|Dec 25, 2018

Advanced Image Processing Techniques参考文献 74被引用数 59

ひとこと要約

本論文は、元の低品質画像から階層的特徴を利用する残差密結合ネットワーク（RDN）を導入し、局所およびグローバルな特徴融合を伴う残差密結合ブロック（RDB）を通じて、複数のタスクにわたり優れた画像復元を実現する。

ABSTRACT

Convolutional neural network has recently achieved great success for image restoration (IR) and also offered hierarchical features. However, most deep CNN based IR models do not make full use of the hierarchical features from the original low-quality images, thereby achieving relatively-low performance. In this paper, we propose a novel residual dense network (RDN) to address this problem in IR. We fully exploit the hierarchical features from all the convolutional layers. Specifically, we propose residual dense block (RDB) to extract abundant local features via densely connected convolutional layers. RDB further allows direct connections from the state of preceding RDB to all the layers of current RDB, leading to a contiguous memory mechanism. To adaptively learn more effective features from preceding and current local features and stabilize the training of wider network, we proposed local feature fusion in RDB. After fully obtaining dense local features, we use global feature fusion to jointly and adaptively learn global hierarchical features in a holistic way. We demonstrate the effectiveness of RDN with several representative IR applications, single image super-resolution, Gaussian image denoising, image compression artifact reduction, and image deblurring. Experiments on benchmark and real-world datasets show that our RDN achieves favorable performance against state-of-the-art methods for each IR task quantitatively and visually.

研究の動機と目的

• 元の低品質画像から階層的特徴を活用して画像復元を改善する動機づけ。
• すべての畳み込み層からの特徴を利用できる統一ネットワーク（RDN）を提案し、複数のIRタスクを扱えるようにする。
• 広い/深いネットワークの学習を安定化させるため、連続メモリ、局所特徴融合、グローバル特徴融合を備えた新規ビルディングブロック（RDB）を開発する。
• RDNの有効性を、画像超解像、ノイズ除去、圧縮アーチファクト低減、ブレ補正の各タスクで示す。
• 既存の最先端手法との比較と包括的なアブレーション研究を提供する。

提案手法

• 局所残差学習と連続メモリ機構を組み合わせた残差密結合ブロック（RDB）を導入する。
• 1x1畳み込みによる局所特徴融合（LFF）を用いて、前のRDB状態と現在のブロック特徴を適応的に融合する。
• LR空間での階層特徴を全RDBから融合するグローバル特徴融合（GFF）を適用し、その後グローバル残差学習を行う。
• DFFを実施してGFFと残差学習から深い密な特徴をLR空間で生成し、SRにはESPCNでアップサンプリングを行う。
• DN、CAR、Deblurringの場合はアップサンプリングモジュールを除去し、LRからHQへマッピングする残差学習を用いる。
• 実装詳細として、3x3畳み込み、64チャネルの特徴マップ、成長率制御設計により広い/深いネットワークを実現する。

実験結果

リサーチクエスチョン

• RQ1 低品質画像の全畳み込み層からの階層特徴を効果的に融合して、複数のタスクで復元を改善できるか。
• RQ2 連続メモリ、局所特徴融合、グローバル特徴融合といった新規コンポーネントは、不安定さを避けつつ広い/深いネットワークの学習を可能にするか。
• RQ3 RDNはSR、ノイズ除去、圧縮アーチファクト低減、ブレ補正において最先端手法と比較してどうか。
• RQ4 ネットワーク深さ（D）、ブロックあたりの層数（C）、成長率（G）が復元性能に与える影響はどうか。

主な発見

• RDNは複数のIRタスクで最先端手法に対して有利な性能を示す。
• アブレーション研究は、連続メモリ（CM）、局所残差学習（LRL）、グローバル特徴融合（GFF）のそれぞれが学習安定性と性能を改善し、組み合わせて使用することで最良の結果を得られることを示す。
• RDNは異なるIRタスクに合わせて柔軟な構造として設定でき、より広く深い構成が階層的特徴の活用を高める。
• 競合手法と比較して、RDNは標準ベンチマークでPSNR/SSIMの向上を競合的に達成し、パラメータ数と速度のバランスが良い。
• アーキテクチャは元のLR画像から階層的特徴を効果的に保持・活用し、定量指標と視覚品質の両方を改善する。