[論文レビュー] Fast Spatio-Temporal Residual Network for Video Super-Resolution

Sheng Li, Fengxiang He+4 more|arXiv (Cornell University)|Apr 5, 2019

Advanced Image Processing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、計算コストを低減しながらも空間的・時間的特徴を保持する、軽量かつ深層な動画超解像モデルであるFast Spatio-Temporal Residual Network (FSTRN) を提案する。FSTRN は、計算コストを大幅に削減する新しい Fast Residual Block (FRB) に、分解型3次元畳み込みを用いる。Cross-Space Residual Learning (CRL) と LR-space residual learning (LRL) を導入することで、最先端の性能を達成し、ベンチマークデータセット全体で平均してPSNRが0.55 dB、SSIMが0.2 向上した。

ABSTRACT

Recently, deep learning based video super-resolution (SR) methods have achieved promising performance. To simultaneously exploit the spatial and temporal information of videos, employing 3-dimensional (3D) convolutions is a natural approach. However, straight utilizing 3D convolutions may lead to an excessively high computational complexity which restricts the depth of video SR models and thus undermine the performance. In this paper, we present a novel fast spatio-temporal residual network (FSTRN) to adopt 3D convolutions for the video SR task in order to enhance the performance while maintaining a low computational load. Specifically, we propose a fast spatio-temporal residual block (FRB) that divide each 3D filter to the product of two 3D filters, which have considerably lower dimensions. Furthermore, we design a cross-space residual learning that directly links the low-resolution space and the high-resolution space, which can greatly relieve the computational burden on the feature fusion and up-scaling parts. Extensive evaluations and comparisons on benchmark datasets validate the strengths of the proposed approach and demonstrate that the proposed network significantly outperforms the current state-of-the-art methods.

研究の動機と目的

• 動画超解像における3次元畳み込みニューラルネットワークの高い計算コストを軽減し、モデルの深さと性能を制限する要因を解消すること。
• 空間的・時間的特徴を統合的にモデル化することで、時間的整合性を維持し、フレーム間のちらつきアーチファクトを低減すること。
• 特徴表現能力を損なわずに、効率的なネットワーク設計により計算負荷を低減すること。
• 低解像度と高解像度の動画フレーム間の本質的類似性を活用し、グローバルな残差学習により性能を向上させること。
• 最小限の計算負荷で最先端の性能を達成すること。

提案手法

• 各3次元畳み込みフィルタを2つの低次元3次元フィルタに分解することで、FLOPsを著しく削減するFast Spatio-Temporal Residual Block (FRB) を提案する。
• 低解像度入力空間から高解像度出力空間へ直接接続するCross-Space Residual Learning (CRL) を導入し、特徴統合およびアップサンプリング層の負荷を軽減する。
• 低解像度空間に入力情報を保持することで特徴抽出を強化するLR-space residual learning (LRL) を採用する。
• FRB と LRL および CRL を組み合わせたグローバル残差学習 (GRL) を用いることで、より深く、より効率的なネットワークを実現し、特徴学習を向上させる。
• CRL では双線形補間を用いてアップサンプリングを行い、アブレーション実験により、補間方法の種類に関わらず性能が安定していることが示された。
• 理論的分析により、一般化誤差の境界が O(1/√n) であることが示され、ネットワークの深さに依存しない強い一般化能力を有することが示された。

実験結果

リサーチクエスチョン

• RQ1 分解型3次元畳み込みは、計算複雑性を著しく低減しつつ、性能を維持または向上させることができるか？
• RQ2 標準的な残差接続と比較して、Cross-Space Residual Learning (CRL) は特徴統合およびアップサンプリング段階の計算負荷を顕著に軽減するか？
• RQ3 グローバル残差学習 (GRL) における LRL と CRL の組み合わせは、特徴表現力とモデルの精度をどのように向上させるか？
• RQ4 FSTRN は、PSNR、SSIM、視覚的品質の観点から、既存の最先端手法をどの程度上回るか？
• RQ5 性能向上はアーキテクチャ的革新に起因するのか、それとも CRL におけるアップサンプリング補間法の選択に敏感か？

主な発見

• FSTRN は、ベンチマーク動画超解像データセット全体で、最先端手法と比較して平均してPSNRが0.55 dB、SSIMが0.2 向上した。
• 提案された FRB は計算複雑性を顕著に低減し、FLOPs を著しく増加させることなく、より深いネットワークアーキテクチャの実現を可能にした。
• アブレーションスタディにより、FRB、LRL、CRL はすべて独立して性能向上に寄与しており、特に CRL が収束速度と精度の向上において最も顕著な寄与を示した。
• FRB、CRL、LRL のすべてのモジュールを組み合わせた場合、ネットワークはより速く収束し、より高い性能を達成し、モジュール間の相乗効果が明確に示された。
• CRL における補間方法（双線形、最近傍、bicubic、面積）の違いにかかわらず、性能にほとんど差がなく、性能向上は主に CRL の設計に起因することが示された。
• 視覚的比較では、FSTRN は特にグリッドや運動パターンのような困難な領域で、よりシャープなテクスチャと滑らかなフレーム間遷移を生成した。