[論文レビュー] AIM 2020 Challenge on Video Temporal Super-Resolution

Sanghyun Son, Jaerin Lee+3 more|arXiv (Cornell University)|Sep 28, 2020

Advanced Image Processing Techniques参考文献 42被引用数 7

ひとこと要約

本論文は、15 fpsの低フレームレート動画を補間することで30および60 fpsに高フレームレート化するVideo Temporal Super-Resolution (VTSR)に焦点を当てたAIM 2020チャレンジを提示している。優勝したXPixelチームは、Enhanced Quadratic Video Interpolation法を導入し、REDS_VTSRデータセットにおいて、先行手法よりも0.22 dBのPSNR向上を達成し、最先端の性能を実現した。

ABSTRACT

Videos in the real-world contain various dynamics and motions that may look unnaturally discontinuous in time when the recordedframe rate is low. This paper reports the second AIM challenge on Video Temporal Super-Resolution (VTSR), a.k.a. frame interpolation, with a focus on the proposed solutions, results, and analysis. From low-frame-rate (15 fps) videos, the challenge participants are required to submit higher-frame-rate (30 and 60 fps) sequences by estimating temporally intermediate frames. To simulate realistic and challenging dynamics in the real-world, we employ the REDS_VTSR dataset derived from diverse videos captured in a hand-held camera for training and evaluation purposes. There have been 68 registered participants in the competition, and 5 teams (one withdrawn) have competed in the final testing phase. The winning team proposes the enhanced quadratic video interpolation method and achieves state-of-the-art on the VTSR task.

研究の動機と目的

• 実世界の低フレームレート動画向けに、頑健で効率的な動画時間的スーパーエンヘンスリング（VTSR）手法の開発を目的とする。
• ハンドヘルドカメラ記録に特徴的な複雑で非線形な運動を扱う課題に取り組む。
• REDS_VTSRデータセットを用いたベンチマーク競争を通じて、フレーム補間技術の前進を図る。
• 標準化されたトレーニングおよび評価プロトコルのもとで、多様なディーブラーニングベースのVTSRアプローチを評価・比較する。

提案手法

• 優勝したXPixelチームは、QVI手法を拡張したEnhanced Quadratic Video Interpolation（EQVI）フレームワークを提案した。
• 本手法は、双方向のオプティカルフロー地図 $ F_{t\rightarrow t+1} $ および $ F_{t+1\rightarrow t} $ を用い、それぞれ $ n $ および $ 1-n $ にスケーリングすることで、異なる時間的補間レートに対応した中間フレームを生成する。
• 複雑な物体の運動をよりよく扱うために、STARnetベースのアーキテクチャに可変畳み込み（deformable convolutions）を追加した。
• オプティカルフロー推定にはPWC-Netを用い、ベースラインモデルに比べて精度を向上させた。
• 低解像度特徴を元の解像度にアップサンプリングするために、DBPNおよびRBPNに基づくマルチスケールスーパーエンヘンスリングネットワークを採用した。
• 一般化性能を向上させるために、トレーニング中に回転、反転、クロッピングなどのデータ拡張処理を適用した。

実験結果

リサーチクエスチョン

• RQ1 複雑な現実世界の動画ダイナミクスにおいて、フレーム補間の正確性を向上させるために2次運動モデルをどのように強化できるか？
• RQ2 低フレームレート入力から高フレームレート動画を再構築する際、オプティカルフローの精度が果たす役割は何か？
• RQ3 可変畳み込みとマルチスケール特徴学習は、挑戦的なVTSRベンチマークでの性能向上に寄与するか？
• RQ4 フローベース、カーネルベース、位相ベースの異なる運動表現戦略は、PSNRおよび視認的品質の観点でどのように比較できるか？
• RQ5 VTSRにおける最先端の性能を達成するための、主なアーキテクチャ的およびトレーニング的要因は何か？

主な発見

• XPixelチームは、15→60 fpsタスクにおいてQVIベースライン比で0.22 dBのPSNR向上を達成し、最高の性能を記録した。
• チャレンジの上位3つの手法が2次運動モデルを活用しており、正確な時間的補間に有効であることが確認された。
• 再スケーリングされたオプティカルフロー地図の使用により、1つのネットワークで複数の時間的補間レートに対応した中間フレーム生成が可能になった。
• 可変畳み込みと改善されたフロー推定（PWC-Net）は、大規模な運動を伴う動画において顕著な性能向上をもたらした。
• チャレンジを通じて、高速な動きや隠蔽を含む現実世界のダイナミクスに対する耐性が、高品質なVTSRにとって不可欠であることが示された。
• 統一された評価フレームワークにより、公平な比較が可能となり、視認的品質とPSNRが常に一致するわけではないことが明らかになった。