[論文レビュー] Image Super-Resolution Using Deep Convolutional Networks

Chao Dong, Chen Change Loy+2 more|arXiv (Cornell University)|Dec 31, 2014

Advanced Image Processing Techniques参考文献 42被引用数 141

ひとこと要約

この論文は、低解像度画像から高解像度画像への直接的なマッピングを学習する、軽量な深層畳み込みニューラルネットワーク（SRCNN）を提案する。スパースコーディングに基づくSRを深層CNNに再定式化することで、高速な推論を実現し、品質と速度の両面で先行手法を上回る最先端の性能を達成した。特に、RGBチャンネルで学習した場合に顕著である。

ABSTRACT

We propose a deep learning method for single image super-resolution (SR). Our method directly learns an end-to-end mapping between the low/high-resolution images. The mapping is represented as a deep convolutional neural network (CNN) that takes the low-resolution image as the input and outputs the high-resolution one. We further show that traditional sparse-coding-based SR methods can also be viewed as a deep convolutional network. But unlike traditional methods that handle each component separately, our method jointly optimizes all layers. Our deep CNN has a lightweight structure, yet demonstrates state-of-the-art restoration quality, and achieves fast speed for practical on-line usage. We explore different network structures and parameter settings to achieve trade-offs between performance and speed. Moreover, we extend our network to cope with three color channels simultaneously, and show better overall reconstruction quality.

研究の動機と目的

• 低解像度画像から高解像度画像への直接的なマッピングを学習することで、単一画像超解像の不適切な性質に対処する。
• 従来の例ベース手法が、辞書やパッチ集約などのコンponentを個別に最適化するという制限を克服する。
• 反復的最適化を必要とせず、リアルタイム推論が可能な軽量で完全畳み込み型ネットワークを設計する。
• 誤差逆伝播による全コンponentの共同最適化が、段階的パイプライン手法よりも再構成品質を向上させることを示す。
• RGBまたはYCbCr空間で学習することで、色画像を効果的に処理するための拡張を実現し、彩度再構成を改善する。

提案手法

• 入力層（フィルターサイズ9×9）、隠れ層（フィルターサイズ1×1）、出力層（フィルターサイズ5×5）を持つ3層の完全畳み込みニューラルネットワーク（SRCNN）を提案する。
• 非線形性を導入するため、隠れ層で修正線形関数（ReLU）を活性化関数として使用する。
• 予測された高解像度パッチと真値の間の平均二乗誤差（MSE）損失を用いて、ネットワークをエンドツーエンドで学習する。
• パッチ抽出、符号化、再構成、集約を含む全SRパイプラインを、中間コンponentの手動最適化を排除した1つのディープラーニングモデルとして定式化する。
• RGBまたはYCbCr色空間で学習することで、3つの色チャンネルを同時に処理するモデルを拡張し、事前学習戦略に関するアブレーションスタディを実施する。
• 一般化を向上させ、過学習を軽減するために、ランダムクロッピングと回転を用いたデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 スパースコーディングを明示的に学習しない深層畳み込みニューラルネットワークは、単一画像超解像のエンドツーエンドマッピングを効果的に学習できるか？
• RQ2 個別に最適化されたコンponentを有する従来のスパースコーディングベースのSR手法と比較して、共同最適化された深層CNNの性能はどのように異なるか？
• RQ3 ネットワークの深さ、フィルターサイズ、色空間（RGB対YCbCr）が再構成品質と速度に与える影響は何か？
• RQ4 輝度または彩度チャンネルで事前学習を行う戦略は、統合ネットワークの性能を向上させることができるか？
• RQ5 RGBチャンネルで学習することで、個別処理に比べてチャンネル間相関を活用し、彩度再構成を改善できるか？

主な発見

• Set5データセットにおいて、SRCNNはアップスケーリング要因3の条件下でPSNR 33.1 dBを達成し、バイキュービックベースラインおよびスパースコーディングベースの手法を上回る最先端の性能を示した。
• RGBチャンネルで学習した場合が全体として最高の性能を示し、RGB空間で33.1 dBのPSNRを達成し、単一チャンネルYのみの学習やYCbCrでの学習を上回った。
• Yの事前学習戦略は、CbCrの事前学習に比べてより良い彩度再構成を実現した。これは、より多くのフィルタが活性化され、局所的最適解に陥りにくくなったためである。
• RGBチャンネルで学習したモデルは、単一チャンネルYのみのネットワーク（33.0 dB）と同等のYチャンネル性能を達成しながら、バイキュービック補間よりも顕著にCbおよびCrチャンネルの品質を向上させた。
• 反復的例ベース手法とは異なり、完全にフォワード伝搬型アーキテクチャであるため、CPU上でリアルタイム推論が可能であり、著しく高速である。
• より大規模かつ多様なデータセットおよびより深いアーキテクチャを用いることで、性能が向上するため、スケーラビリティの可能性が示唆された。