[論文レビュー] 3DSRnet: Video Super-resolution using 3D Convolutional Neural Networks

Soo Ye Kim, Jeongyeon Lim+2 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Image Processing Techniques参考文献 25被引用数 43

ひとこと要約

3D-CNN に基づく動画超解像フレームワーク（3DSRnet）を提案。時間的深さを保持し、サブピクセル出力を用いた残差学習を行い、モーションアライメントなしで性能低下を避けるシーン変化処理モジュールを含む。Vidset4でPSNRの最先端向上を達成。

ABSTRACT

In video super-resolution, the spatio-temporal coherence between, and among the frames must be exploited appropriately for accurate prediction of the high resolution frames. Although 2D convolutional neural networks (CNNs) are powerful in modelling images, 3D-CNNs are more suitable for spatio-temporal feature extraction as they can preserve temporal information. To this end, we propose an effective 3D-CNN for video super-resolution, called the 3DSRnet that does not require motion alignment as preprocessing. Our 3DSRnet maintains the temporal depth of spatio-temporal feature maps to maximally capture the temporally nonlinear characteristics between low and high resolution frames, and adopts residual learning in conjunction with the sub-pixel outputs. It outperforms the most state-of-the-art method with average 0.45 and 0.36 dB higher in PSNR for scales 3 and 4, respectively, in the Vidset4 benchmark. Our 3DSRnet first deals with the performance drop due to scene change, which is important in practice but has not been previously considered.

研究の動機と目的

• モーションアライメントなしで動画SRにおける時空的一貫性を活用する。
• 層全体で時間情報を保持するエンドツーエンドの3D-CNNを開発する。
• 専用の scene-change サブネットを用いて入力フレームのシーン変化に対応する。
• 残差学習とサブピクセル出力構造を用いてSR性能を向上させる。
• 従来法と比較して Vidset4 で最先端の PSNR 増加を実証する。

提案手法

• 5 framesの入力ウィンドウを用いた3D-CNN video SRサブネットを用いて、中央の1つの高解像度フレームを出力する。
• GTFMsの外挿（パディング）によって層を通じて特徴マップの時間的深さを維持し、時間情報を保持する。
• ネットワーク入力経路での bicubic upscaling を行わず、直接LRからHRへのマッピングを実現する多チャネル出力を採用する。
• HRとbicubic-upscaled LRフレーム間の残差を予測することで残差学習を適用する。
• 軽量な scene-change 検出と frame replacement (SF) サブネットを組み込み、シーン境界を特定し、同じシーン内の時間的に closest なフレームと置き換える。
• video SRサブネット（smallSetとlargeSet）とSFサブネットそれぞれのデータセットを訓練し、平均二乗誤差損失とAdam最適化で最適化する。

実験結果

リサーチクエスチョン

• RQ1 明示的なモーションアライメントなしの3D-CNNは、動画SRにおいて時空情報を効果的に活用できるか？
• RQ2 3D特徴マップの時間的深さを保持することは、従来の2D-CNN動画SR手法と比べてSR性能を向上させるか？
• RQ3 シーン遷移を伴う動画において、専用のシーン変化検出とフレーム置換コンポーネントはSR品質にどのような影響を及ぼすか？
• RQ4 Vidset4 におけるPSNRとSSIMの観点で、3DSRnetは最先端の画像・動画 SR手法と比較してどうか？

主な発見

• 3DSRnetはVidset4で、scale 3のPSNRで平均0.45 dB、scale 4で0.36 dB、最先端手法を上回る。
• 本モデルは複数の3D畳み込み層を通じて時間的深さを維持し、最終的な2D HR出力まで時間情報を保持するために外挿を用いる。
• SFサブネットは高いシーン変化検出精度（およそ99.9%程度）を達成し、シーン変化の影響を受けたフレームのPSNRを約0.25–0.46 dB改善する。
• Vidset4で、3DSRnetはTable 5の結果にあるように、scale factors 2、3、4のPSNR増加を従来の方法と比べて達成している。
• NVIDIA TITAN Xでの推論時間は、five input framesから960x540フレームをアップスケールする場合、scale 2で166 ms、scale 4で788 msである。
• ネットワークは多チャネル出力と残差学習の利点を享受し、知覚品質を向上させ、3D畳み込みの計算過多を防ぐ。