[論文レビュー] Single Image Super-resolution via a Lightweight Residual Convolutional Neural Network

Yudong Liang, Ze Yang+4 more|arXiv (Cornell University)|Mar 23, 2017

Advanced Image Processing Techniques参考文献 37被引用数 13

ひとこと要約

本論文は、勾配消失を軽減するスキップ接続と、段階的に変化するネットワークの深さと幅を用いる画期的な戦略を採用することで、パラメータを削減しながら高い性能を維持する、単一画像超解像のための軽量な残差畳み込みニューラルネットワークを提案する。この手法は、ベンチマークデータセットで最先端のPSNRおよびSSIMスコアを達成し、トレーニングの安定性と視覚的品質が向上している。

ABSTRACT

Recent years have witnessed great success of convolutional neural network (CNN) for various problems both in low and high level visions. Especially noteworthy is the residual network which was originally proposed to handle high-level vision problems and enjoys several merits. This paper aims to extend the merits of residual network, such as skip connection induced fast training, for a typical low-level vision problem, i.e., single image super-resolution. In general, the two main challenges of existing deep CNN for supper-resolution lie in the gradient exploding/vanishing problem and large numbers of parameters or computational cost as CNN goes deeper. Correspondingly, the skip connections or identity mapping shortcuts are utilized to avoid gradient exploding/vanishing problem. In addition, the skip connections have naturally centered the activation which led to better performance. To tackle with the second problem, a lightweight CNN architecture which has carefully designed width, depth and skip connections was proposed. In particular, a strategy of gradually varying the shape of network has been proposed for residual network. Different residual architectures for image super-resolution have also been compared. Experimental results have demonstrated that the proposed CNN model can not only achieve state-of-the-art PSNR and SSIM results for single image super-resolution but also produce visually pleasant results. This paper has extended the mmm 2017 oral conference paper with a considerable new analyses and more experiments especially from the perspective of centering activations and ensemble behaviors of residual network.

研究の動機と目的

• 単一画像超解像（SISR）における深層CNNの勾配消失と高い計算コストの課題に対処すること。
• スキップ接続とアイデンティティショートカットを活用することで、非常に深いネットワークにおけるトレーニングの安定性と収束性を向上させること。
• 段階的に変化する深さと幅を持つ新しいネットワークアーキテクチャを用いて、モデルの複雑さとパラメータ数を削減すること。
• ネットワークの「形状」が性能に与える影響、特に残差構造とプレーン構造の違いについて調査すること。
• 残差ネットワークが、複数のアップスケーリング要因にわたる強力な一般化能力を示すように、軽量なSISR用に効率的に設計可能であることを示すこと。

提案手法

• 各残差ユニットが2つの畳み込み層を含み、階層的にスタックされた深層残差CNNを提案する。
• 層ごとに特徴マップの数を段階的に変化させる戦略（例：16から64へ、その後16へ）を導入し、表現力とパラメータ効率のバランスを図る。
• 勾配消失問題を軽減するため、スキップ接続（アイデンティティショートカット）を採用し、トレーニングの安定性を高め、より深いアーキテクチャの実現を可能にする。
• 残差接続を通じて浅いパスのアンサンブルとしてネットワークを設計し、アーキテクチャの変化に対してより頑健になるようにする。
• 一般化性能を向上させるために、1つのネットワークで複数のアップスケーリング要因（×2、×3、×4）を同時にトレーニングする。
• 高周波成分（HR - LR）を予測する残差学習を用いることで、活性化を中央に保ち、収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 残差ネットワークのアーキテクチャ的形状が、単一画像超解像における性能に与える影響は何か？
• RQ2 パラメータ数を削減した軽量な残差CNNは、より深いまたは広いベースラインモデルを上回る性能を示せるか？
• RQ3 スキップ接続と残差学習は、深層SISRネットワークにおける勾配安定性と収束性にどのように影響するか？
• RQ4 単一スケール学習と比較して、複数のアップスケーリング要因で学習させることで、モデルの一般化性能はどの程度向上するか？
• RQ5 残差ネットワークのアンサンブル的性質は、アーキテクチャの変化に対してどのように頑健性をもたらすか？

主な発見

• 提案された軽量な残差ネットワークは、×2アップスケーリングにおけるSet14で32.94 dBのPSNRを達成し、形状が異なる他の残差モデルを上回った。
• Set5における×2アップスケーリングでは37.52 dBのPSNRを達成し、先行研究で報告された最先端の結果と同等またはわずかに上回った。
• 段階的に変化する深さと幅を持つネットワークは、さまざまな形状において一貫した性能を示し、アーキテクチャ設計に対して頑健であることが示された。
• 複数のアップスケーリング要因で学習させることで、特に大きな要因（×3および×4）において性能がわずかに向上し、一般化性能の向上が示唆された。
• VDSRベースラインは形状の変化に対してより感受性を示し、PSNRが32.50〜32.85 dBの間で変動したが、残差モデルは32.9 dB前後で安定した。
• スキップ接続と組み合わせた残差ネットワークのアンサンブル的性質により、さまざまなネットワーク設定においてより安定的かつ一貫性のある性能が得られた。