[論文レビュー] Accurate Image Super-Resolution Using Very Deep Convolutional Networks

Jiwon Kim, Jung Kwon Lee+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image Processing Techniques参考文献 15被引用数 63

ひとこと要約

本論文では、非常に深い（20層）残差畳み込みネットワークを用いた、非常に高精度な単一画像スーパーレゾリューション手法であるVery Deep Super-Resolution（VDSR）を提案する。低解像度と高解像度画像の差分（残差）をモデル化し、勾配クリッピングを併用した極めて高い学習率を用いることで、収束が速く、最先端の性能を達成した。Set5における×2スケーリングにおいて、SRCNNよりも最大0.87 dBのPSNR向上を達成した。

ABSTRACT

We present a highly accurate single-image super-resolution (SR) method. Our method uses a very deep convolutional network inspired by VGG-net used for ImageNet classification \cite{simonyan2015very}. We find increasing our network depth shows a significant improvement in accuracy. Our final model uses 20 weight layers. By cascading small filters many times in a deep network structure, contextual information over large image regions is exploited in an efficient way. With very deep networks, however, convergence speed becomes a critical issue during training. We propose a simple yet effective training procedure. We learn residuals only and use extremely high learning rates ($10^4$ times higher than SRCNN \cite{dong2015image}) enabled by adjustable gradient clipping. Our proposed method performs better than existing methods in accuracy and visual improvements in our results are easily noticeable.

研究の動機と目的

• 浅いネットワークを用いた既存の深層学習ベースのスーパーレゾリューション手法における収束の遅さと精度の限界を解決すること。
• 長年にわたり性能向上が得られなかった、画像スーパーレゾリューションのための非常に深いネットワークの訓練に課題を克服すること。
• 個々のスケールごとに別々のモデルを必要としない、1つのモデルで複数のスケール要因（例：×2、×3、×4）に一般化できるソリューションを開発すること。
• 大きな受容 field を持つ深層アーキテクチャにより、広い画像領域における文脈的情報を活用することで性能を向上させること。

提案手法

• 長距離の文脈的依存性を積み重ねた畳み込みで捉えるために、小さな3×3フィルタを用いた非常に深い残差ネットワーク（20層の重み層）を提案する。
• 高解像度画像そのものではなく、高解像度と低解像度画像の差分（残差画像）をモデル化することで、より速く安定した学習が可能になる。
• 残差学習と適応的勾配クリッピングのおかげで可能になった、極めて高い初期学習率（0.1、SRCNNの約10⁴倍）を採用する。
• ReLU活性化関数を用いた非常に深いネットワークの安定した学習を実現するため、バッチ正規化とHeスタイルの重み初期化を適用する。
• 個別のスケールごとに再訓練を必要としない、1つの深層ネットワークを用いて複数のスケール要因（×2、×3、×4）に一般化する。
• 一般化性能とロバスト性を向上させるために、学習中にデータ拡張（回転と反転）を適用する。

実験結果

リサーチクエスチョン

• RQ1 SRCNNのような浅いネットワークと比較して、非常に深い残差ネットワークは、スーパーレゾリューションの精度を顕著に向上させることができるか？
• RQ2 勾配爆発を引き起こさずに、非常に高い学習率を深層スーパーレゾリューションネットワークの学習に効果的に適用できるか？
• RQ3 高解像度画像そのものではなく、残差画像をモデル化することで、収束が速くなり、性能が向上するか？
• RQ4 再訓練を伴わずに、1つの深層ネットワークが複数のスケール要因（例：×2、×3、×4）を効果的に処理できるか？
• RQ5 非常に深いネットワークにおける受容 field のサイズが、再構成された画像の詳細品質にどのように影響するか？

主な発見

• Set5データセットにおける×3スーパーレゾリューションにおいて、VDSRモデルは33.27 dBのPSNRを達成し、以前の最先端手法（SRCNN）を0.87 dB上回った。
• Urban100データセットでは、×4スーパーレゾリューションにおいてVDSRが30.95 dBのPSNRを達成し、最高の先行手法（RFL）を0.11 dB上回った。
• ×2、×3、×4スケールで学習したマルチスケールVDSRモデルは、×3で33.27 dBのPSNRを達成し、単一スケールの×3モデル（32.89 dB）を上回った。
• 収束が著しく高速化された：残差学習と勾配クリッピングのおかげで、高い学習率（0.1）を用い、80エポックで最適な性能に到達した。
• 視覚的結果では、VDSRはSRCNNや他の手法と比較して、細かいディテールや鋭いエッジをより正確に再構成しており、ぼやけや歪みが最小限に抑えられていた。
• 都市風景など多様な画像タイプ、特にUrban100データセットの挑戦的な都市シーンにおいても、定量的・定性的な両評価で、既存手法を一貫して上回った。