[論文レビュー] Space-Time-Aware Multi-Resolution Video Enhancement

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Mar 30, 2020

Advanced Image Processing Techniques参考文献 57被引用数 4

ひとこと要約

本論文は、空間的および時間的次元の両方で同時に動画の解像度を向上させる、共同空間時間スーパーサンプリング（ST-SR）のための深層学習フレームワーク、STARnetを提案する。空間と時間の間の相互依存関係を、マルチリゾリューション特徴量学習と低解像度から高解像度特徴量への直接スキップ接続を通じて活用することで、複数のベンチマークでST-SR、S-SR、T-SRタスクにおいて、逐次的または独立的な手法よりも顕著な性能向上を達成した。

ABSTRACT

We consider the problem of space-time super-resolution (ST-SR): increasing spatial resolution of video frames and simultaneously interpolating frames to increase the frame rate. Modern approaches handle these axes one at a time. In contrast, our proposed model called STARnet super-resolves jointly in space and time. This allows us to leverage mutually informative relationships between time and space: higher resolution can provide more detailed information about motion, and higher frame-rate can provide better pixel alignment. The components of our model that generate latent low- and high-resolution representations during ST-SR can be used to finetune a specialized mechanism for just spatial or just temporal super-resolution. Experimental results demonstrate that STARnet improves the performances of space-time, spatial, and temporal video super-resolution by substantial margins on publicly available datasets.

研究の動機と目的

• 従来のスーパーサンプリング手法が空間的および時間的アップサンプリングを独立して処理するという制限に対処すること。
• 空間的および時間的スーパーサンプリングを統合的に最適化するための包括的なディープラーニングフレームワークの開発。
• 高解像度の空間的詳細と高フレームレートの運動情報の相補的関係を活用し、動画再構成の質を向上させること。
• 同じモデルを微調整することで、独立した空間的または時間的スーパーサンプリングタスクに適用可能な転移学習を可能にすること。
• 複数の解像度での共同学習が、大規模な動きと微細な動きの両方の推定精度を向上させることを実証すること。

提案手法

• STARnetは、低解像度および高解像度の空間時間的表現の両方で特徴量を学習するマルチリゾリューションエンコーダデコーダアーキテクチャを採用する。
• ネットワークは、低解像度入力から高解像度出力への直接スキップ接続（図1の紫色の矢印）を用い、ST-SRのエンドツーエンド共同最適化を可能にする。
• 複数のリゾリューション間の横方向接続を通じて、空間的および時間的特徴量を共同で最適化し、運動推定と再構成の忠実性を向上させる。
• アップサンプリング中に特徴量の整合性と精錬を改善するために、オプティカルフローとリプルス学習を用いる。
• 共有バックボーンにより、S-SRまたはT-SRの独立したタスクに微調整可能であり、ST-SRに特化した表現を引き継ぐことができる。
• フレームワークは$4\times$空間的および$2\times$時間的アップサンプリングをサポートし、マルチリゾリューション学習の寄与をアブレーションスタディで検証している。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的スーパーサンプリングの共同学習は、逐次的または独立的処理を上回る動画再構成性能を実現できるか？
• RQ2 マルチリゾリューション特徴量学習は、動画における大規模な動きと微細な動きの両方のモデリングをどのように向上させるか？
• RQ3 低解像度から高解像度特徴量への直接スキップ接続は、段階的なアプローチと比較してST-SR性能をどの程度向上させるか？
• RQ4 1つのST-SRモデルを独立したS-SRまたはT-SRタスクに効果的に微調整可能であり、性能向上を達成できるか？
• RQ5 高解像度の空間的詳細を活用することで時間的補間が向上し、逆に時間的情報の活用が空間的再構成を向上させるか？

主な発見

• STARnetはVimeo90KのST-SRタスクでPSNR 39.13、SSIM 0.991を達成し、RBPNとDAINの最良組み合わせを0.38dB上回った。
• S-SRに微調整したSTAR-Sは、Vimeo90KでDBPNより1.19dB、DBPN-MIより0.87dB、RBPNより0.55dBのPSNR向上を達成した。
• T-SRの元解像度で最良の性能を達成したSTAR-T$_{\text{HR}}$は、ToFlowやDAINと比較して、テクスチャがより明確で、動き領域のぼやけが少ない。
• 低解像度入力で微調整したSTAR-T$_{\text{LR}}$は、S-LRでSTAR-T$_{\text{HR}}$およびSOTA手法を上回り、PSNR 39.30、SSIM 0.991を達成した。
• 視覚的結果では、図7の赤矢印で示されるように、ToFlow や DAIN と比較して、STARnetは特に動き領域でアーチファクトやぼやけが少なく、より良好な品質を実現した。
• 複数の解像度での共同学習により、S-LRでの大規模な動き推定とS-HRでの微細な動き推定の両方が向上し、単一解像度アプローチの限界を克服した。