[論文レビュー] Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation

José Caballero, Christian Ledig+5 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Image Processing Techniques参考文献 31被引用数 11

ひとこと要約

本稿では、マルチスケール空間変換器を用いたエンド・ツー・エンドで学習可能な動き補償を統合した、空間時間的サブピクセル畳み込みネットワークを用いたリアルタイム動画スーパーレゾリューション手法を提案する。早期融合、スローフュージョン、3D畳み込みを統合し、共同で動き補償を行うことで、先行研究に比べて高い精度と時間的整合性を達成するとともに、計算コストを30%削減するか、同等のコストでPSNRを0.2dB向上させる。

ABSTRACT

Convolutional neural networks have enabled accurate image super-resolution in real-time. However, recent attempts to benefit from temporal correlations in video super-resolution have been limited to naive or inefficient architectures. In this paper, we introduce spatio-temporal sub-pixel convolution networks that effectively exploit temporal redundancies and improve reconstruction accuracy while maintaining real-time speed. Specifically, we discuss the use of early fusion, slow fusion and 3D convolutions for the joint processing of multiple consecutive video frames. We also propose a novel joint motion compensation and video super-resolution algorithm that is orders of magnitude more efficient than competing methods, relying on a fast multi-resolution spatial transformer module that is end-to-end trainable. These contributions provide both higher accuracy and temporally more consistent videos, which we confirm qualitatively and quantitatively. Relative to single-frame models, spatio-temporal networks can either reduce the computational cost by 30% whilst maintaining the same quality or provide a 0.2dB gain for a similar computational cost. Results on publicly available datasets demonstrate that the proposed algorithms surpass current state-of-the-art performance in both accuracy and efficiency.

研究の動機と目的

• 複数フレーム間の時間的相関を活用しつつ、リアルタイムな動画スーパーレゾリューションを達成する課題に対処すること。
• 単純または別個の動き補償に依存する従来の動画SR手法の非効率性と性能限界を克服すること。
• 動き補償とスーパーレゾリューションを統合した共同学習フレームワークを構築し、再構成品質と時間的整合性を向上させること。
• 単フレームモデルや最適化されていない空間時間的モデルと比較して、より高い精度と低い計算コストを両立すること。
• PSNR、SSIM、MOVIEインデックスの観点から、公開データセット上で最先端の性能を示し、リアルタイム推論が可能であることを実証すること。

提案手法

• 時間的冗長性を活用するため、複数の連続フレームを処理する空間時間的サブピクセル畳み込みネットワーク（VESPCN）を採用し、早期融合、スローフュージョン、3D畳み込みを用いる。
• エンド・ツー・エンドで学習可能な新しい共同動き補償機構を導入し、光学フロー処理よりもはるかに高速なマルチスケール空間変換器モジュールを用いる。
• スーパーレゾリューションの前に、空間変換器を用いてフレーム間の動きを推定・補正することで、特徴のアライメントと再構成の忠実度を向上させる。
• サブピクセル畳み込みを用いて、低解像度から高解像度空間へのスケーリング操作を直接学習し、バイキュービック補間と比較して計算コストを削減する。
• 早期融合、スローフュージョン、3D畳み込みの3つのネットワークアーキテクチャを実装し、時間的モデリングと計算効率のバランスを最適化する。
• 動き推定とスーパーレゾリューションを含む全パイプラインをエンド・ツー・エンドで学習し、空間的詳細と時間的整合性の両方を共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 共同で動き補償を行う空間時間的ネットワークは、単フレームモデルと比較して、より高い精度でリアルタイムの動画スーパーレゾリューションを達成できるか？
• RQ2 早期融合、スローフュージョン、3D畳み込みの各統合戦略は、再構成品質と計算効率の観点でどのように比較できるか？
• RQ3 外部の光学フローまたは動き補償なしの手法と比較して、エンド・ツー・エンドで学習可能な動き補償は、時間的整合性とPSNRをどの程度向上させるか？
• RQ4 単フレームモデルと同等のPSNRを維持しながら、計算コストを30%削減できるか？
• RQ5 動きとスーパーレゾリューションの共同学習は、逐次的または独立した処理に比べて、動画SRで優れた性能を示すか？

主な発見

• 提案されたVESPCN手法は、Vid4データセットでPSNR 32.52 dBを達成し、SRCNN、ESPCN、VSRnetをPSNRおよびSSIMの両面で上回った。
• 9L-E3-MCを用いることで、単フレームESPCNと比較して計算演算量を30%削減しながら同等のPSNRを維持するか、同等のコストでPSNRを0.2 dB向上させた。
• 空間変換器による動き補償はMOVIEインデックスを顕著に低減させ、非補償モデルと比較して優れた時間的整合性を示した。
• ×3および×4のスケーリングにおいて、動き補償部はそれぞれ3.6および2.0 GOpsの追加計算コストにとどまり、VSRnetの動き補償（1フレームあたり55秒）と比較して約1000倍高速であった。
• 視覚的結果では、VESPCNがフレーム間で微細構造やテクスチャをより良く保持しており、フレッシャー効果が低減され、動きの整合性が向上していた。
• リアルタイム推論を達成しており、ESPCN ×4は1フレームあたり29 msで実行され、動き補償版もHD動画で100 ms未満の性能を維持していた。