[論文レビュー] RSTT: Real-time Spatial Temporal Transformer for Space-Time Video Super-Resolution

Zhicheng Geng, Luming Liang+2 more|arXiv (Cornell University)|Mar 27, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

RSTTは、時間的補間と空間的超解像を統合した1つのエンドツーエンド変換器アーキテクチャとして、エンコーダーが構築する再利用可能なマルチスケール辞書をデコーダーで照合することで、同時に高フレームレート（HFR）および高解像度（HR）フレームを合成するリアルタイムの空間的・時間的変換器を提案する。720×576フレームで26.2fpsを達成し、最先端手法よりも80%高速でありながら、60%少ないパラメータを用い、競争力ある性能を維持する。

ABSTRACT

Space-time video super-resolution (STVSR) is the task of interpolating videos with both Low Frame Rate (LFR) and Low Resolution (LR) to produce High-Frame-Rate (HFR) and also High-Resolution (HR) counterparts. The existing methods based on Convolutional Neural Network~(CNN) succeed in achieving visually satisfied results while suffer from slow inference speed due to their heavy architectures. We propose to resolve this issue by using a spatial-temporal transformer that naturally incorporates the spatial and temporal super resolution modules into a single model. Unlike CNN-based methods, we do not explicitly use separated building blocks for temporal interpolations and spatial super-resolutions; instead, we only use a single end-to-end transformer architecture. Specifically, a reusable dictionary is built by encoders based on the input LFR and LR frames, which is then utilized in the decoder part to synthesize the HFR and HR frames. Compared with the state-of-the-art TMNet \cite{xu2021temporal}, our network is $60\%$ smaller (4.5M vs 12.3M parameters) and $80\%$ faster (26.2fps vs 14.3fps on $720 imes576$ frames) without sacrificing much performance. The source code is available at https://github.com/llmpass/RSTT.

研究の動機と目的

• 従来のCNNベースの空間的・時間的動画超解像（STVSR）手法が、重いアーキテクチャと冗長な特徴抽出により推論が遅いため、その問題を解決すること。
• 時間的補間と空間的超解像を明示的に2つのサブモジュールに分けるのではなく、1つの統合的変換器アーキテクチャに統合すること。
• 計算制約が厳しい実用的デプロイメント環境において、STVSRのリアルタイム推論を可能にすること。
• モデルサイズとパラメータ数を削減しながら、標準ベンチマークで高い視覚的品質と性能を維持すること。

提案手法

• RSTTは、共有されたエンコーダー・デコーダー・ブロックを備えた段階的なU-Netスタイルのアーキテクチャを採用し、エンコーダーが入力の低フレームレート・低解像度フレームから再利用可能なマルチスケール辞書を構築する。
• デコーダーはマルチヘッドクロスアテンションを用いてエンコードされた辞書を照合し、高フレームレートおよび高解像度出力フレームを同時に合成可能にする。
• 従来のVFIとVSRネットワークを別々に設計する二段階アーキテクチャに代わり、1つのエンドツーエンド変換器アーキテクチャを採用し、冗長な特徴抽出を排除する。
• 補間には固定クエリを用い、再定式化されたクエリにより、任意のタイムスケール補間への潜在的な拡張が可能である。
• 特徴融合にはマルチヘッドクロスアテンション（MCA）を採用し、連結や加算ベースの統合戦略を上回る性能を発揮する。
• RSTT-S、RSTT-M、RSTT-Lの3つのバリエーションを導入し、速度、精度、モデルサイズのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 明示的なタスク分離なしに、統合された変換器アーキテクチャが時間的補間と空間的超解像の両方を効果的に実行できるか？
• RQ2 共有エンコーダーとデコーダーを持つ1つのエンドツーエンド変換器は、二段階のCNNベースのSTVSR手法と比較して、より高速な推論とより小さなモデルサイズを達成できるか？
• RQ3 変換器における辞書ベースのアテンション機構は、リアルタイムで高フレームレートおよび高解像度の動画フレームを効率的に再構築できるか？
• RQ4 PSNR、SSIM、推論速度、パラメータ数の観点から、提案されたRSTTモデルは最先端手法と比較してどのように性能を発揮するか？
• RQ5 デコーダーにおけるマルチヘッドクロスアテンションは、連結や加算といった単純な特徴統合手法を上回る性能を発揮するか？

主な発見

• RSTT-Sは720×576フレームで26.2fpsを達成し、24fpsという映画標準フレームレートを上回り、リアルタイムアプリケーションに適している。
• RSTT-SはSTARNetの700%、Zooming SlowMoの75%高速でありながら、同等または優れたPSNR性能を達成している。
• RSTT-Lは450万パラメータを用い、TMNetの1230万パラメータより60%少ないが、ベンチマークデータセットで同程度のPSNRとSSIM性能を維持している。
• RSTT-Mは、Vimeo-FastでZooming SlowMoより0.2dB高いPSNRを達成し、パラメータ数は50%少ないため、優れた効率性を示している。
• デコーダーにおけるマルチヘッドクロスアテンション（MCA）機構は、特徴連結や加算を上回り、Vimeo-FastではPSNRで最大0.3dB、SSIMで最大0.006の向上を示している。
• より小さな再構築ブロックを用いたRSTT-S-Recon（615万パラメータ）は、より大きなブロック（608万パラメータ）とほぼ同等の性能を発揮しており、大きなブロックは不要で、モデルが効率的に設計されていることが示唆されている。