[論文レビュー] PP-MSVSR: Multi-Stage Video Super-Resolution

Lielin Jiang, Na Wang+3 more|arXiv (Cornell University)|Dec 6, 2021

Advanced Image Processing Techniques被引用数 8

ひとこと要約

本論文では、局所的特徴融合モジュール、補助損失、再アラインメントモジュールを用いて、フレーム間の特徴統合とアラインメントを向上させる、マルチステージ型ビデオスーパーレゾリューションネットワークPP-MSVSRを提案する。わずか145万パラメータでSOTA性能を達成し、Vid4では28.13dBのPSNRを達成。また、REDS4でもパラメータ数を減らしながらSOTA手法を上回る性能を発揮した。

ABSTRACT

Different from the Single Image Super-Resolution(SISR) task, the key for Video Super-Resolution(VSR) task is to make full use of complementary information across frames to reconstruct the high-resolution sequence. Since images from different frames with diverse motion and scene, accurately aligning multiple frames and effectively fusing different frames has always been the key research work of VSR tasks. To utilize rich complementary information of neighboring frames, in this paper, we propose a multi-stage VSR deep architecture, dubbed as PP-MSVSR, with local fusion module, auxiliary loss and re-align module to refine the enhanced result progressively. Specifically, in order to strengthen the fusion of features across frames in feature propagation, a local fusion module is designed in stage-1 to perform local feature fusion before feature propagation. Moreover, we introduce an auxiliary loss in stage-2 to make the features obtained by the propagation module reserve more correlated information connected to the HR space, and introduce a re-align module in stage-3 to make full use of the feature information of the previous stage. Extensive experiments substantiate that PP-MSVSR achieves a promising performance of Vid4 datasets, which achieves a PSNR of 28.13dB with only 1.45M parameters. And the PP-MSVSR-L exceeds all state of the art method on REDS4 datasets with considerable parameters. Code and models will be released in PaddleGAN\footnote{https://github.com/PaddlePaddle/PaddleGAN.}.

研究の動機と目的

• フレーム間の特徴統合とアラインメントを段階的に改善することで、ビデオスーパーレゾリューションを向上させること。
• 従来のスライディングウィンドウ型および再帰的VSRフレームワークの限界を克服し、両者の長所を統合すること。
• 段階的精錬を用いることでモデルの複雑さを低減しつつ、性能を維持または向上させること。
• 特徴伝搬中に高分解能相関情報を保持することで、特徴表現を強化すること。

提案手法

• ステージ1に局所的特徴融合モジュール（LFM）を導入し、特徴伝搬の前に早期特徴統合を実行することで、フレーム間の特徴アラインメントを向上させる。
• ステージ2に補助損失を適用し、伝搬モジュールが高分解能関連特徴を保持するように誘導することで、HR空間との特徴相関を強化する。
• ステージ3に再アラインメントモジュール（RAM）を提案し、前段のステージからの情報を用いて特徴を精錬することで、アラインメント精度を向上させる。
• マルチステージアーキテクチャを採用し、VSRパイプラインを段階的な処理に分解することで、出力の段階的精錬を可能にする。
• スライディングウィンドウと再帰的設計の原則を統合し、時間的文脈を活用しながらもモデル効率を維持する。
• 光学フロー推定に変更を加えたSPYNetを採用し、トレーニングの安定性を確保するためCharbonnier損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 段階的精錬による特徴統合とアラインメントの改善は、ビデオスーパーレゾリューション性能の向上に寄与するか？
• RQ2 特徴伝搬の前段階に局所的特徴融合モジュールを導入することで、フレーム間特徴表現にどのような影響を与えるか？
• RQ3 伝搬ステージに補助損失を導入することで、高分解能関連特徴をどの程度保持できるか？
• RQ4 前段のステージからの情報を活用する再アラインメントモジュールは、アラインメント精度と再構成品質をさらに向上させ得るか？
• RQ5 スライディングウィンドウと再帰的設計の原則を統合することで、パラメータ数を減らしながらも性能が向上するか？

主な発見

• PP-MSVSRは、わずか145万パラメータでVid4データセットで28.13dBのPSNRを達成し、顕著に少ないパラメータ数で既存手法を上回った。
• REDs4データセットでは、EDVR-Mを0.7dB上回りながらも、ほぼ半分のパラメータ数とFLOPsを実現した。
• RRNと比較して、Vid4では0.44dB、UDM10では1.1dB高いPSNRを達成したが、パラメータ数は少ない。
• PP-MSVSR-Lバージョンは、REDs4およびVid4の両データセットでBasicVSR++を上回り、ほぼ同等のパラメータ数で性能を発揮した。
• アブレーションスタディにより、各モジュール（LFM、補助損失、RAM）が顕著な貢献を示し、それぞれPSNRで0.12dB、0.06dB、0.06dBの向上を示した。
• 4倍のブラーダウンサンプリング下でも、Vid4、UDM10、Vimeo-90K-T、REDs4の各データセットにわたり、優れた汎化性能を示した。