[論文レビュー] Temporal Modulation Network for Controllable Space-Time Video Super-Resolution

Gang Xu, Jun Xu+4 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Image Processing Techniques参考文献 47被引用数 4

ひとこと要約

本稿では、時間的モodulationブロック（TMB）を用いて任意の中間フレームの補間を可能にする、制御可能な空間時間動画スーパーレゾリューションのための時系列モodulationネットワーク（TMNet）を提案する。TMBは時間パラメータtを用いて可変畳み込みカーネルのサンプリングを動的に制御する。短時間の動きの手がかりは局所的時間特徴比較（LFC）モジュールで統合され、長時間の文脈は双方向可変畳み込みLSTMで捉えられ、Vimeo-90K Fastで最高37.04dBのPSNRを達成する最先端の性能を発揮する。

ABSTRACT

Space-time video super-resolution (STVSR) aims to increase the spatial and temporal resolutions of low-resolution and low-frame-rate videos. Recently, deformable convolution based methods have achieved promising STVSR performance, but they could only infer the intermediate frame pre-defined in the training stage. Besides, these methods undervalued the short-term motion cues among adjacent frames. In this paper, we propose a Temporal Modulation Network (TMNet) to interpolate arbitrary intermediate frame(s) with accurate high-resolution reconstruction. Specifically, we propose a Temporal Modulation Block (TMB) to modulate deformable convolution kernels for controllable feature interpolation. To well exploit the temporal information, we propose a Locally-temporal Feature Comparison (LFC) module, along with the Bi-directional Deformable ConvLSTM, to extract short-term and long-term motion cues in videos. Experiments on three benchmark datasets demonstrate that our TMNet outperforms previous STVSR methods. The code is available at https://github.com/CS-GangXu/TMNet.

研究の動機と目的

• 既存のSTVSR手法が事前に定義された中間フレームしか生成できないという制限を解消し、柔軟な放送シーンへの応用を可能にする。
• 任意のフレームレート生成を可能にするために、可変畳み込みに制御可能な時間的モodulationを組み込むことで特徴補間の正確性を向上させる。
• 短時間と長時間の両方の時間的手がかりを統合することで、より良い空間的アライメントと再構成を実現するための動きモデリングを強化する。
• アーチファクトを低減し、知覚的品質を向上させた高品質で時間的に一貫性のある動画スーパーレゾリューションを達成する。

提案手法

• 時間パラメータtを変換して制御ベクトルvtを生成する時間的モodulationブロック（TMB）を導入し、任意の中間フレーム補間のための可変畳み込みカーネルのサンプリングを制御する。
• 短時間の動きモデリングと空間的アライメントを正確に行うために、複数フレームの特徴を抽出・比較する局所的時間特徴比較（LFC）モジュールを設計する。
• 全動画シーケンスにわたる長時間の動きの変化を捉えるために、双方向可変畳み込みLSTMを採用する。
• 2段階の時間的特徴統合戦略を実装する：まずLFCによる局所的統合を行い、次にGFFによるグローバル統合により、短時間および長時間の手がかりを効果的に統合する。
• ピクセルシャッフル層の前段で高分解能特徴𝒮𝐻と初期の低分解能特徴𝒮𝐿を結合することで、動きと構造的詳細を保持する。
• 再構成にL1損失を用いて、Vimeo-90K、Adobe240fps、Vid4のデータセット上でエンド・トゥ・エンドにネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、固定フレームレート出力に制限されず、空間時間動画スーパーレゾリューションにおいて任意の中間フレームを補間できるか？
• RQ2 隣接フレームからの動きの手がかりは、どのように効果的にモデル化され、特徴補間と再構成品質を向上させることができるか？
• RQ3 局所的およびグローバルな時間的特徴統合を組み合わせた場合、STVSR性能にどのような影響を与えるか？
• RQ4 高分解能特徴𝒮𝐻と初期の低分解能特徴𝒮𝐿を統合することで、最終的な再構成品質が向上するか？

主な発見

• TMNetは3つのベンチマークデータセットで最先端の性能を達成し、Vimeo-90K Fastで37.04dBのPSNRを記録し、従来手法を上回る。
• アブレーションスタディにより、LFCモジュールが不可欠であることが確認され、Vid4では0.07dB、Vimeo-Fastでは最大0.17dBの性能低下が観察された。
• 非線形層を備えたTMBは線形バージョンをわずかに上回り、Adobe240fpsで26.95dB vs. 26.93dBを記録し、時間的モodulationにおける非線形性の利点を示している。
• 高品質特徴𝒮𝐻と初期特徴𝒮𝐿を統合することで、全データセットで0.07–0.12dBのPSNR向上が達成され、特徴連結戦略の有効性が裏付けられた。
• 2段階の統合（LFC → GFF）は不可欠である：逆順（GFF → LFC）にすると、ノイズの多い長時間信号の影響で学習が崩壊する。
• TMNetは、0.3、0.5、0.7の間隔での任意のフレームレートでの補間が可能であり、従来手法が固定の中間フレームに制限されるのとは異なり、柔軟な応用が可能である。