[論文レビュー] Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections

Xiao-Jiao Mao, Chunhua Shen+1 more|arXiv (Cornell University)|Jun 29, 2016

Advanced Image Processing Techniques参考文献 20被引用数 343

ひとこと要約

本論文は、対称的なスキップ接続（RED-Net）を備えた極めて深い全畳み込み型オートエンコーダを画像復元タスクに用い、単一モデルでノイズ除去、超解像、JPEGデブロッキング、非盲ブレ除去、インペインティングといった画像復元タスクで最先端の性能を実現する。

ABSTRACT

Image restoration, including image denoising, super resolution, inpainting, and so on, is a well-studied problem in computer vision and image processing, as well as a test bed for low-level image modeling algorithms. In this work, we propose a very deep fully convolutional auto-encoder network for image restoration, which is a encoding-decoding framework with symmetric convolutional-deconvolutional layers. In other words, the network is composed of multiple layers of convolution and de-convolution operators, learning end-to-end mappings from corrupted images to the original ones. The convolutional layers capture the abstraction of image contents while eliminating corruptions. Deconvolutional layers have the capability to upsample the feature maps and recover the image details. To deal with the problem that deeper networks tend to be more difficult to train, we propose to symmetrically link convolutional and deconvolutional layers with skip-layer connections, with which the training converges much faster and attains better results.

研究の動機と目的

• 画像復元タスクのための非常に深く、全畳み込みのエンコーダ-デコーダネットワークを開発する。
• 対応するエンコーダ層とデコーダ層の間に対称的なスキップ接続を導入し、訓練性と復元性能を向上させる。
• ノイズ除去、超解像、デブロック、デブラー、インペインティングといった複数の破損タイプを扱える、単一で拡張性のあるモデルを実証する。

提案手法

• RED-Netは、鏡像的な畳み込みおよびデコンボリューション層を備えた、非常に深い対称的畳み込みオートエンコーダである。
• 対応するエンコーダとデコーダ層間にスキップ接続を取り入れ、勾配の流れを改善し画像のディテールを保持する。
• 汚損画像からクリーン画像へのマッピングを学習するため、直接のマッピングではなく残差( Y-X )を最適化するエンドツーエンドで訓練する。
• 各層の後にReLU活性化を用い、BSDのパッチ上でAdamで訓練し、プーリング/アンプーリングなしで深いアーキテクチャを可能にする。
• 対称的な全畳み込み構造のため任意サイズの画像のテストを許容し、エンセムブリングの利得のために多方向テストを採用する。
• 画像 priorsなしで、複数の復元タスクにおいて最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 対称的なスキップ接続を持つ非常に深い全畳み込みのエンコーダ-デコーダが、複数のタスクにわたる画像復元性能を改善できるのか？
• RQ2 スキップ接続は深いネットワークの効果的な訓練と復元時の微細な画像ディテールの保持を可能にするのか？
• RQ3 単一のRED-Netモデルは、ノイズ除去、超解像、JPEGデブロック、非盲ブレ、インペインティングといった多様な破損に対応し、競争力のあるまたは優れた結果を示せるのか？

主な発見

• RED-Netは実験で4つの画像復元タスクにおいて報告された最高性能を達成した。
• Deeper networks with symmetric skip connections train more effectively and preserve image details better than shallower or non-skipp-connected architectures.
• Skip connections facilitate gradient back-propagation to lower layers, reducing gradient vanishing in very deep networks.
• The model supports different corruption levels using a single, high-capacity network.
• Testing efficiency can be improved by down-sampling in early convolutional layers with up-sampling in symmetric deconvolutional layers, with minimal PSNR loss.
• Network variants RED10, RED20, and RED30 demonstrate the benefits of depth and skip connections for restoration tasks.