[論文レビュー] Video Frame Interpolation without Temporal Priors

Youjian Zhang, Chaoyue Wang+1 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、既知のフレームレートや露出時間といった時間的事前知識を必要としない動画フレーム補間手法を提案する。4つの連続フレームから一般化された2次運動軌道を導出し、2次残差ネットワークを用いてシャープなキーステートを復元することで、さまざまなカメラ設定下でも正確な補間を実現し、再訓練を必要とせずに実世界の曇りぼやけた動画で最先端の結果を達成する。

ABSTRACT

Video frame interpolation, which aims to synthesize non-exist intermediate frames in a video sequence, is an important research topic in computer vision. Existing video frame interpolation methods have achieved remarkable results under specific assumptions, such as instant or known exposure time. However, in complicated real-world situations, the temporal priors of videos, i.e. frames per second (FPS) and frame exposure time, may vary from different camera sensors. When test videos are taken under different exposure settings from training ones, the interpolated frames will suffer significant misalignment problems. In this work, we solve the video frame interpolation problem in a general situation, where input frames can be acquired under uncertain exposure (and interval) time. Unlike previous methods that can only be applied to a specific temporal prior, we derive a general curvilinear motion trajectory formula from four consecutive sharp frames or two consecutive blurry frames without temporal priors. Moreover, utilizing constraints within adjacent motion trajectories, we devise a novel optical flow refinement strategy for better interpolation results. Finally, experiments demonstrate that one well-trained model is enough for synthesizing high-quality slow-motion videos under complicated real-world situations. Codes are available on https://github.com/yjzhang96/UTI-VFI.

研究の動機と目的

• フレームレートや露出時間といった時間的事前知識が不明または変動する実世界の状況において、動画フレーム補間を効果的に行うことを目的とする。
• 固定された時間的仮定に依存する従来手法の限界を克服し、さまざまなカメラ設定下でも性能を発揮できるようにすることを目的とする。
• シャッタースピードやフレーム間隔の事前知識が不要な一般化可能な補間フレームワークを構築することを目的とする。
• 1つの訓練済みモデルがさまざまな露出条件に一般化可能であり、各カメラ設定ごとの再訓練を不要とする。

提案手法

• 本手法は、露出時間やフレームレートが既知でない状況でも、4つの連続フレームを用いて一般化された曲線運動軌道を導出する。
• ぼやけたフレームからシャープな開始状態と終了状態を回復するため、2次残差キーステート復元ネットワークを導入し、正確な運動推定を可能にする。
• 一定加速度を仮定することで、2次関数を用いて運動をモデル化し、不均等な時間間隔間の補間を可能にする。
• 隣接する運動軌道間の制約を活用することで、光学フローの精度を向上させる、新規な光学フロー精錬戦略を提案する。
• 運動ぼやけと時間的ギャップを区別することで、フレーム間補間とフレーム内補間の両方を実行する。
• モデルは低フレームレートのぼやけた動画上でエンドツーエンドに訓練され、再訓練なしにさまざまな露出設定に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 露出時間やフレーム間隔が異なるカメラで変動する場合、時間的事前知識が不明または変動する状況でも、動画フレーム補間を効果的に行うことができるか？
• RQ2 フレームレートやシャッタースピードといった時間的事前知識が欠落している状況で、運動軌道を正確にモデル化できるか？
• RQ3 1つのモデルが再訓練なしに、多様な露出設定にどれほど一般化できるか？
• RQ4 統合されたフレームワークは、ぼやけた動画シーケンスにおいてフレーム間補間とフレーム内補間の両方を処理できるか？
• RQ5 提案された光学フロー精錬戦略は、標準的なフロー推定と比較して、補間品質をどの程度向上させるか？

主な発見

• GoPro-5-5ベンチマークにおいて、本手法はPSNR 34.37、SSIM 0.9801を達成し、ベースラインよりPSNRで1.95 dB優れている。
• アブレーションスタディの結果、2次残差ネットワークは1次残差ネットワークに比べてPSNRを約1.5 dB向上させた。
• フローリファインメントモジュールを導入することで、精錬なしのモデルと比較してPSNRが0.6 dB向上し、その有効性が示された。
• GoPro-7-3およびGoPro-9-1ベンチマークにおいて、さまざまな露出設定にわたって一貫した性能を示し、良好な一般化性能を確認した。
• キーステート復元ネットワークは、ぼやけたフレームからシャープなコンテンツを効果的に回復でき、露出条件が変動しても正確な運動推定が可能である。
• 時間的事前知識や異なるカメラ設定における再訓練を必要とせず、実世界のぼやけた動画データセットで最先端の性能を達成した。