[論文レビュー] Deeply-Recursive Convolutional Network for Image Super-Resolution

Jiwon Kim, Jung Kwon Lee+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image Processing Techniques参考文献 22被引用数 49

ひとこと要約

本論文は、最大16回の再帰的パスを経て1つの畳み込み層を再利用することで、パrameterを増加させずに41×41の大きな受容 field を実現する、画像超解像のための深く再帰的な畳み込みネットワーク（DRCN）を提案する。訓練の安定性を高めるために再帰的監視とスキップ接続を導入し、Set5、Set14、B100、Urban100といったベンチマークでPSNRとSSIMが顕著に向上し、最先端の性能を達成している。

ABSTRACT

We propose an image super-resolution method (SR) using a deeply-recursive convolutional network (DRCN). Our network has a very deep recursive layer (up to 16 recursions). Increasing recursion depth can improve performance without introducing new parameters for additional convolutions. Albeit advantages, learning a DRCN is very hard with a standard gradient descent method due to exploding/vanishing gradients. To ease the difficulty of training, we propose two extensions: recursive-supervision and skip-connection. Our method outperforms previous methods by a large margin.

研究の動機と目的

• 制限されたモデル容量のもとで、画像超解像における長距離ピクセル依存関係をモデル化する課題に対処すること。
• 重み共有による再帰的アプローチにより、深層ネットワークのパラメータ爆発や過学習の問題を克服すること。
• 誤反転誤差の発生や消失／爆発勾配の問題を抱える深く再帰的なネットワークの訓練安定性を向上させること。
• Set5 や Urban100 といった標準的な超解像ベンチマークで、複数の再帰レベルからの予測を統合することで性能を向上させること。
• 一部の先行手法が後処理を要するのとは異なり、境界ピクセルの切り出しなしにフル画像の再構成を可能にすること。

提案手法

• 最大16回まで同じ畳み込み層を繰り返し適用する深く再帰的な畳み込みネットワーク（DRCN）を採用し、パrameterを増加させずに受容 field を41×41まで拡大する。
• 各再帰レベルの特徴マップを用いて中間の高解像度予測を生成する再帰的監視を導入し、最終出力のためのアンサンブルに統合する。
• 入力の低解像度画像から再構成層へのスキップ接続を適用し、高レベルの意味的および空間的情報を保持する。
• 3部構成のアーキテクチャを採用：埋め込みネットワーク（初期特徴抽出）、推論ネットワーク（再帰的畳み込み層）、再構成ネットワーク（アップサンプリングおよびデコンボリューション）。
• 学習率の減少と重み減衰を用いた確率的勾配降下法で学習を実行し、再帰的重みは自己接続を除きゼロで初期化する。
• 訓練中に再帰ネットワークを展開し、全再帰レベルを経て誤差逆伝播を可能にすることで、エンド・ツー・エンド最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 共有重みを持つ深く再帰的なネットワークは、深さを増すことで性能が向上する標準的な深層ネットワークよりも、画像超解像の性能を向上させることができるか？
• RQ2 再帰的パスの数を増やすことで、モデルの高周波成分の回復能力とPSNR/SSIMの向上に寄与するか？
• RQ3 消失／爆発勾配の問題を抱える再帰的ネットワークにおいて、再帰的監視が訓練の安定性と性能を顕著に向上させるか？
• RQ4 入力から再構成層へのスキップ接続は、超解像のような相関が高いタスクにおいて性能をどの程度向上させるか？
• RQ5 提案手法は、都市風景や自然風景といった多様なデータセットに一般化可能であり、既存の最先端手法を上回る性能を示せるか？

主な発見

• ×3超解像におけるSet5データセットにおいて、再帰深さを1から16に増やすことでPSNRが一貫して向上し、16回再帰のモデルが最高の性能を達成した。
• 異なる再帰レベルからの中間予測をアンサンブル化することで、単一の再帰深さの結果よりも顕著に優れた性能が得られ、再帰的監視の有効性が示された。
• すべてのベンチマークデータセットで最先端のPSNRおよびSSIMスコアを達成した：Set5（×3で33.52 dB）、Set14（×3で30.85 dB）、B100（×3で30.25 dB）、Urban100（×3で28.54 dB）。
• TITAN X GPU上で288×288の画像を約1秒で処理できるため、深さのある再帰構造にもかかわらず効率的な推論が可能である。
• 定性的な結果では、SRCNN、A+、RFL、SelfExと比較して、特に複雑なパターンや微細なディテールにおいて、より鋭いエッジと優れたテクスチャの保持が確認された。
• 一部の先行手法とは異なり、境界ピクセルの切り出しを必要としない。これは、本手法がフルサイズの出力生成能力を有しているためである。