[論文レビュー] Accelerating the Super-Resolution Convolutional Neural Network

Chao Dong, Chen Change Loy+1 more|arXiv (Cornell University)|Aug 1, 2016

Advanced Image Processing Techniques参考文献 23被引用数 11

ひとこと要約

本稿では、双方向に細くなるアーキテクチャを持つコン act な、時計型の畳み込みニューラルネットワーク（CNN）であるFast Super-Resolution Convolutional Neural Network（FSRCNN）を提案する。この手法は、bic立方補間の代わりに学習可能なデコンボリューションを採用し、特徴次元の圧縮・拡張を施し、より小さなフィルタと深いスタックを用いることで、画像のスーパーレゾリューションを高速化する。SRCNN-Exと比較して40倍以上の高速化を達成しながら、復元品質を向上させ、FSRCNN-sは一般CPU上でリアルタイム（24 fps以上）で動作する。

ABSTRACT

As a successful deep model applied in image super-resolution (SR), the Super-Resolution Convolutional Neural Network (SRCNN) has demonstrated superior performance to the previous hand-crafted models either in speed and restoration quality. However, the high computational cost still hinders it from practical usage that demands real-time performance (24 fps). In this paper, we aim at accelerating the current SRCNN, and propose a compact hourglass-shape CNN structure for faster and better SR. We re-design the SRCNN structure mainly in three aspects. First, we introduce a deconvolution layer at the end of the network, then the mapping is learned directly from the original low-resolution image (without interpolation) to the high-resolution one. Second, we reformulate the mapping layer by shrinking the input feature dimension before mapping and expanding back afterwards. Third, we adopt smaller filter sizes but more mapping layers. The proposed model achieves a speed up of more than 40 times with even superior restoration quality. Further, we present the parameter settings that can achieve real-time performance on a generic CPU while still maintaining good performance. A corresponding transfer strategy is also proposed for fast training and testing across different upscaling factors.

研究の動機と目的

• 実用的応用におけるリアルタイム展開を制限するSRCNNの高い計算コストに対処する。
• 既存の学習ベースのSR手法におけるbicubic補間による2次関数的複雑度の増大を克服する。
• 復元品質を損なわずにネットワークパラメータ数と推論時間を削減する。
• 転移学習戦略を用いて、複数のアップスケーリング要因に対して高速なトレーニングと推論を可能にする。
• 一般的なCPU上でリアルタイム展開に適したコンパクトで効率的なアーキテクチャを設計する。

提案手法

• ネットワーク出力部に学習可能なデコンボリューション層を導入し、bicubic補間を置き換えることで、事前処理によるアップサンプリングを排除し、計算負荷を低減する。
• 入力特徴次元をマッピングの前に入力次元を圧縮し、マッピング後に再び拡張する「圧縮・拡張」ボトルネックを導入することで、低次元空間における効率的な表現学習を可能にする。
• 単一の広いマッピング層の代わりに、複数のスタックされた3×3畳み込み層を採用することで、パラメータ数を低く抑えつつ表現能力を向上させる。
• 中間層が細くなる対称的な時計型構造を採用することで、効率性と性能のバランスを図る。
• 補間による複雑度を避けるために、低解像度画像のままネットワークを直接トレーニングする。
• 異なるアップスケーリング要因に適応するための転移学習戦略を提案し、デコンボリューション層のみをファインチューニングすることで、最小限のトレーニングコストで高速な適応が可能となる。

実験結果

リサーチクエスチョン

• RQ1 復元品質を劣化させることなく、SRCNNを著しく高速化することは可能か？
• RQ2 bicubic補間を学習可能なデコンボリューション層に置き換えることで、速度と性能の両方が向上するか？
• RQ3 特徴次元の圧縮と拡張は、効率性を向上させつつ正確性を維持できるか？
• RQ4 小さなフィルタを用いたより深い、細いネットワークは、広い浅いネットワークを上回る性能を発揮できるか？
• RQ5 最小限の再トレーニングで、同じネットワークアーキテクチャを複数のアップスケーリング要因に効率的に適応できるか？

主な発見

• FSRCNNは、Set5では×3アップスケーリングでPSNRを0.16 dB向上させ、Set14では0.12 dB向上させながら、SRCNN-Exと比較して40倍以上の高速化を達成した。
• FSRCNN-sは一般CPU上で24 fps以上で動作し、リアルタイム性能を達成しており、Set5では×3アップスケーリングで標準SRCNNを0.18 dB、Set14では0.15 dB上回った。
• 提案されたアーキテクチャは、すべてのベンチマークデータセットで最先端のPSNRを達成した：Set5（×2）で37.00 dB、Set5（×3）で33.16 dB、Set5（×4）で30.71 dB。
• デコンボリューションフィルタを均一な補間カーネルに置き換えると、Set5（×3）で少なくとも0.9 dBのPSNR低下が生じ、学習可能なアップサンプリングの必要性を裏付けた。
• 転移戦略により、デコンボリューション層のみをファインチューニングすることで、異なるアップスケーリング要因に高速に適応でき、最小限のトレーニングコストで高い精度を維持した。
• 特徴圧縮と深い層を備えた時計型構造は、パラメータ数を削減しながら性能を向上させ、より低い複雑性で優れた結果を達成した。