[論文レビュー] Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network

Jin Yamanaka, Shigesumi Kuwashima+1 more|arXiv (Cornell University)|Jul 18, 2017

Advanced Image Processing Techniques参考文献 15被引用数 42

ひとこと要約

本論文では、残差学習、スキップ接続、およびネットワーク内ネットワーク（NiN）モジュールを組み合わせることで、従来の深層モデルと比較して少なくとも10倍の計算コスト低減を達成しつつ、最先端の再構成品質を実現する軽量な深層畳み込みニューラルネットワーク（CNN）アーキテクチャ、DCSCNを提案する。本手法は、ネットワークの深さやフィルタ数を最適化し、次元削減および効率的な特徴処理に1×1畳み込みを用いることで、リソース制約のあるデバイス上でも高速かつ高精度な画像復元を可能にする。

ABSTRACT

We propose a highly efficient and faster Single Image Super-Resolution (SISR) model with Deep Convolutional neural networks (Deep CNN). Deep CNN have recently shown that they have a significant reconstruction performance on single-image super-resolution. Current trend is using deeper CNN layers to improve performance. However, deep models demand larger computation resources and is not suitable for network edge devices like mobile, tablet and IoT devices. Our model achieves state of the art reconstruction performance with at least 10 times lower calculation cost by Deep CNN with Residual Net, Skip Connection and Network in Network (DCSCN). A combination of Deep CNNs and Skip connection layers is used as a feature extractor for image features on both local and global area. Parallelized 1x1 CNNs, like the one called Network in Network, is also used for image reconstruction. That structure reduces the dimensions of the previous layer's output for faster computation with less information loss, and make it possible to process original images directly. Also we optimize the number of layers and filters of each CNN to significantly reduce the calculation cost. Thus, the proposed algorithm not only achieves the state of the art performance but also achieves faster and efficient computation. Code is available at https://github.com/jiny2001/dcscn-super-resolution

研究の動機と目的

• エッジデバイスへのデプロイを念頭に、高い再構成精度を維持しながら計算コストを著しく低減する深層CNNベースの超解像モデルの開発。
• モバイルおよびIoT環境における深層残差ネットワークの非効率性を、ネットワークの深さとフィルタ数の最適化によって解決すること。
• スキップ接続と残差学習を用いて、局所的およびグローバルな受容 field の両方における特徴抽出を向上させること。
• ネットワーク内ネットワーク構造における次元削減用1×1畳み込みを活用し、低解像度入力から直接エンドツーエンドの画像再構成を可能にすること。
• 既存の深層CNNモデルと比較して顕著に少ないFLOPsで、画像超解像分野における最先端のパフォーマンスを達成すること。

提案手法

• 非常に深いアーキテクチャにおいて訓練の安定性と勾配の流れを向上させるために、深層残差ネットワークにスキップ接続を適用する。
• 複数のレイヤーからの特徴を保持・統合するためにスキップ接続を用い、局所的およびグローバルな特徴表現を強化する。
• 特徴マップの次元を低減し、情報損失を最小限に抑えつつ計算を高速化するために、1×1畳み込み層を備えたネットワーク内ネットワーク（NiN）モジュールを統合する。
• 並列的な1×1畳み込みを用いて、特徴マップを効率的にプロジェクションおよび圧縮し、精度の低下を最小限に抑えつつ高速な推論を実現する。
• 各畳み込みブロックにおけるレイヤー数およびフィルタ数を体系的に最適化し、FLOPsを最小限に抑えつつ高い再構成忠実度を維持する。
• 事前処理や後処理を必要とせず、低解像度入力から直接高解像度画像を再構成するエンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNベースの超解像モデルは、顕著に低い計算コストで最先端の再構成品質を達成できるか？
• RQ2 スキップ接続と残差学習は、画像超解像のための非常に深いネットワークにおける特徴表現をどのように向上させるか？
• RQ3 1×1畳み込みを備えたネットワーク内ネットワークモジュールは、画像再構成品質を劣化させることなく、どの程度FLOPsを削減できるか？
• RQ4 エッジデバイスへのリアルタイムデプロイを考慮した場合、ネットワークの深さ、フィルタ数、計算効率の最適なトレードオフは何か？
• RQ5 軽量なCNNモデルは、より深く、パrameterが多めのモデルに比べて、単一画像超解像において速度と精度の両面で優れるか？

主な発見

• 提案されたDCSCNモデルは、ベンチマークデータセットにおいてPSNRおよびSSIM指標の両面で最先端の画像超解像性能を達成した。
• 既存の深層CNNベースの超解像手法と比較して、計算コストを少なくとも10倍低減したため、モバイルおよびIoTデバイスへの適用に適している。
• スキップ接続と残差学習の統合により、性能の著しい劣化を伴わず、より深いネットワークの安定した訓練が可能になった。
• ネットワーク内ネットワーク構造における1×1畳み込み層の使用は、最小限の情報損失で特徴マップの次元を効果的に低減した。
• ネットワークの深さとフィルタ数の最適な設定により、FLOPsが顕著に削減されたが、高い再構成忠実度は維持された。
• 中間変換を必要とせず、低解像度画像を直接処理できるため、推論パイプラインが簡素化された。