[論文レビュー] Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

Xiao-Jiao Mao, Chunhua Shen+1 more|arXiv (Cornell University)|Mar 30, 2016

Advanced Image Processing Techniques参考文献 9被引用数 1,087

ひとこと要約

本論文は、対称的なスキップ結合を備えた非常に深い完全畳み込み型エンコーダ-デコーダ網（RED-Net）を提案し、ノイズ除去と超解像をエンドツーエンドで実行し、最先端の結果を達成し、単一モデルで複数の破損レベルに対応する。

ABSTRACT

In this paper, we propose a very deep fully convolutional encoding-decoding framework for image restoration such as denoising and super-resolution. The network is composed of multiple layers of convolution and de-convolution operators, learning end-to-end mappings from corrupted images to the original ones. The convolutional layers act as the feature extractor, which capture the abstraction of image contents while eliminating noises/corruptions. De-convolutional layers are then used to recover the image details. We propose to symmetrically link convolutional and de-convolutional layers with skip-layer connections, with which the training converges much faster and attains a higher-quality local optimum. First, The skip connections allow the signal to be back-propagated to bottom layers directly, and thus tackles the problem of gradient vanishing, making training deep networks easier and achieving restoration performance gains consequently. Second, these skip connections pass image details from convolutional layers to de-convolutional layers, which is beneficial in recovering the original image. Significantly, with the large capacity, we can handle different levels of noises using a single model. Experimental results show that our network achieves better performance than all previously reported state-of-the-art methods.

研究の動機と目的

• 画像復元に非常に深いネットワークを用いる動機付けを行い、ノイズ除去と超解像の性能向上を図る。
• 画像の細部を保持し、深層ネットワークの効果的な訓練を可能にする対称的なエンコーダ-デコーダアーキテクチャ（RED-Net）を提案する。
• 対応するエンコーダ層とデコーダ層の間にスキップ接続を導入し、勾配の流れと細部の保持を促進する。
• 単一の高容量モデルが複数のノイズレベルおよびダウンサンプリング/アップサンプリング因子に対応できることを示す。
• データセットやタスクを横断して、従来の手法と比較して改善を示す豊富な実証的証拠を提供する。

提案手法

• 対称的な畳み込み層とデコンボリューション層を持つ完全畳み込みのエンコーダ-デコーダネットワーク（RED-Net）を構築する。
• 3x3のカーネルを使用し、プーリングは行わず、各層の後に整流化を適用する。
• 対応するエンコーダ層とデコーダ層の間に要素ごとのスキップ接続を追加し、画像の細部を伝え勾配の流れを助ける。
• エンドツーエンドの平均二乗誤差最小化を用いて Adam 最適化器で残差を予測するように訓練する。
• 単一の大容量モデルで複数のノイズレベルおよびスケール因子を扱える能力を示す。

実験結果

リサーチクエスチョン

• RQ1 極めて深い完全畳み込み型エンコーダ-デコーダ網は、既存手法よりも画像ノイズ除去と超解像の性能を改善できるか？
• RQ2 対称的なスキップ接続は、非常に深いネットワークの訓練を可能にし、復元中に画像の細部を保持するか？
• RQ3 単一の RED-Net モデルは、タスク固有の再訓練なしで複数の破損レベルとスケーリングファクターに堅牢に対応できるか？
• RQ4 提案されたアーキテクチャは、標準的なノイズ除去と超解像のベンチマークにおいて、従来の手法とどのように比較されるか？

主な発見

• スキップ接続を備えた RED-Net は、ノイズ除去と超解像のベンチマークで最先端の性能を達成する。
• 対称的なスキップ接続を備えたより深いネットワークは、浅いバリアントや他の手法を上回り、ノイズレベルが上がるにつれてより大きな改善を示す。
• 単一の RED-Net モデルは複数のノイズレベルとスケーリング因子を効果的に扱えるため、複数の専門モデルの必要性を減らす。
• スキップ接続は勾配の流れを改善し画像の細部を保持することで、より深いアーキテクチャの訓練を可能にする。
• 実験結果は、ノイズ除去の BM3D, NCSR, EPLL, PCLR, WNNM などに対して PSNR/SSIM の定量的な改善を示し、超解像では CSCN, CSC, TSE, ARFL+ に対しても同様の利得を示す。