[論文レビュー] Image Super-Resolution via Dual-State Recurrent Networks

Wei Han, Shiyu Chang+4 more|arXiv (Cornell University)|May 7, 2018

Advanced Image Processing Techniques参考文献 39被引用数 21

ひとこと要約

本稿では、画像超解像のためのデュアルステート再帰ネットワーク（DSRN）を提案する。DSRNは、双方向再帰フィードバックを用いて低解像度（LR）および高解像度（HR）特徴を同時にモデル化する。HRからLRへの遅延フィードバックを有するデュアルステートRNNをアンフォールドすることで、メモリとパラメータ使用量を低減しつつ、SOTA（最先端）の性能を達成し、EDSR+ よりも優れた性能を示した。DIV2Kベンチマークで評価された。

ABSTRACT

Advances in image super-resolution (SR) have recently benefited significantly from rapid developments in deep neural networks. Inspired by these recent discoveries, we note that many state-of-the-art deep SR architectures can be reformulated as a single-state recurrent neural network (RNN) with finite unfoldings. In this paper, we explore new structures for SR based on this compact RNN view, leading us to a dual-state design, the Dual-State Recurrent Network (DSRN). Compared to its single state counterparts that operate at a fixed spatial resolution, DSRN exploits both low-resolution (LR) and high-resolution (HR) signals jointly. Recurrent signals are exchanged between these states in both directions (both LR to HR and HR to LR) via delayed feedback. Extensive quantitative and qualitative evaluations on benchmark datasets and on a recent challenge demonstrate that the proposed DSRN performs favorably against state-of-the-art algorithms in terms of both memory consumption and predictive accuracy.

研究の動機と目的

• パラメータ共有と再帰構造を活用することで、深層超解像ネットワークにおける非効率性と過学習の問題を解決すること。
• 低解像度および高解像度特徴空間で同時に動作する、新しいデュアルステート再帰アーキテクチャを検討すること。
• 遅延フィードバックを用いてLRとHR状態間の双方向情報伝達を可能にし、特徴学習を向上させること。
• 特にリソース制限のある環境でのデプロイに適した、モデルサイズとメモリ消費量を低減した高性能な性能を達成すること。

提案手法

• DSRNは、1つの状態が低解像度で、もう1つの状態が高解像度で動作するデュアルステート再帰ネットワークの有限アンフォールドとして画像超解像をモデル化する。
• デコンボリューション接続を用いて、LR状態からHR状態への特徴の伝達を実現し、前方情報伝達を可能にする。
• HR状態からLR状態への遅延フィードバック機構を導入し、双方向特徴精錬を実現する。
• アンフォールドステップ間で重み共有を採用することで、パラメータを削減し、一般化性能を向上させる。
• 最終的な予測は、すべてのアンフォールドステップにおける特徴の重み付き平均として形成され、ロバストネスが向上する。
• 標準的な最適化手法を用いてエンドツーエンドで訓練され、評価指標としてPSNR、SSIM、IFCが使用された。

実験結果

リサーチクエスチョン

• RQ1 双方向フィードバックを有するデュアルステート再帰ネットワークは、単一ステートRNNと比較して画像超解像性能を向上させることができるか？
• RQ2 高解像度状態から低解像度状態への遅延フィードバックを組み込むことで、特徴学習と再構成品質にどのような影響を与えるか？
• RQ3 デュアルステート設計は、超解像ネットワークにおけるパラメータ効率性とメモリ効率性をどの程度向上させるか？
• RQ4 提案されたDSRNは、ベンチマークデータセット上で最先端の手法と比較して、より少ないパラメータで競争力のある性能を達成できるか？

主な発見

• NTIRE SR 2017チャレンジにおいて、DSRNはすべてのスケーリング要因でPSNRおよびSSIMの両面で、EDSR+を含む他のすべての手法を上回った。
• Set14データセットにおいて、わずか91枚の訓練画像でのみ、VDSR、DRRN、DRCNなどの手法を上回る結果を達成した。
• DIV2Kデータセットにおける×3拡大では、PSNRが34.52 dBに達し、EDSR+と同等の性能を示したが、パラメータ数を削減した。
• アブレーションスタディの結果、デュアルステート設計および遅延フィードバックの両方が性能向上に顕著な寄与を示した。特に、フィードバック自体がすべてのスケールで一貫した向上をもたらした。
• パラメータ数とPSNRのトレードオフの観点から、DSRNは良好な性能を示した。NVIDIA Titan Xで1枚あたり0.4秒の推論時間であった。
• 視覚的結果では、DSRNは特に高周波数ディテールの回復において、競合手法と比較してよりシャープなテクスチャと少ないアーチファクトを生成した。