[論文レビュー] SportsSloMo: A New Benchmark and Baselines for Human-centric Video Frame Interpolation

Jiaben Chen, Huaizu Jiang|arXiv (Cornell University)|Aug 31, 2023

Advanced Image Processing TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、複雑な人体運動と頻繁な隠蔽を特徴とし、高解像度（≥720p）の13万件のスポーツ動画クリップを含む、人中心の動画フレーム補間のための新しいベンチマークであるSportsSloMoを紹介する。補間精度を向上させるために、パノプティック人体セグメンテーションとキーポイント検出を補助監視として用いる、モデルに依存しない人間中心の損失項を提案し、7つの最先端VFI手法において一貫した性能向上を達成した。PSNRは最大0.69 dB向上し、SSIMは0.006向上した。

ABSTRACT

Human-centric video frame interpolation has great potential for improving people's entertainment experiences and finding commercial applications in the sports analysis industry, e.g., synthesizing slow-motion videos. Although there are multiple benchmark datasets available in the community, none of them is dedicated for human-centric scenarios. To bridge this gap, we introduce SportsSloMo, a benchmark consisting of more than 130K video clips and 1M video frames of high-resolution ($\geq$720p) slow-motion sports videos crawled from YouTube. We re-train several state-of-the-art methods on our benchmark, and the results show a decrease in their accuracy compared to other datasets. It highlights the difficulty of our benchmark and suggests that it poses significant challenges even for the best-performing methods, as human bodies are highly deformable and occlusions are frequent in sports videos. To improve the accuracy, we introduce two loss terms considering the human-aware priors, where we add auxiliary supervision to panoptic segmentation and human keypoints detection, respectively. The loss terms are model agnostic and can be easily plugged into any video frame interpolation approaches. Experimental results validate the effectiveness of our proposed loss terms, leading to consistent performance improvement over 5 existing models, which establish strong baseline models on our benchmark. The dataset and code can be found at: https://neu-vi.github.io/SportsSlomo/.

研究の動機と目的

• 人中心の動画フレーム補間のための専用ベンチマークの不足、特に複雑な人体運動と隠蔽を伴う動的スポーツシナリオにおける課題を解決すること。
• 既存の最先端VFI手法が人中心のコンテンツに適用された際の性能低下を評価し、実世界応用における顕著な課題を明らかにすること。
• パノプティックセグメンテーションとキーポイント検出に基づく、モデルに依存しない人間中心の損失項を提案し、動きの境界における補間精度を向上させること。
• 今後の研究を可能にするために、13万件の高解像度スポーツクリップから構成される大規模かつ精選されたデータセットを公開すること。

提案手法

• 著者らは、クリエイティブコモンズライセンスの下でYouTubeから13万件の高解像度（≥720p）のスローモーションスポーツ動画クリップを収集し、スローモーションでないもの、広告、トランジションコンテンツを除外した。
• 各動画は9フレームのクリップに分割され、最初と最後のフレームを入力とし、中央の7フレームを訓練および評価のための正例とする。
• 2つの補助損失項を導入：パノプティック人体セグメンテーションによる境界の正確性向上とゴーストの低減、および人体キーポイント検出による一貫した運動軌跡の強制。
• これらの損失は訓練時に適用され、アーキテクチャの変更なしに任意のVFIフレームワークに統合可能であり、モデルに依存しない。
• 損失は、事前学習済みのパノプティックセグメンテーションおよびキーポイント検出モデルを用いて、予測された中間フレームと正例を比較することで実装される。
• 7つの最先端VFIモデル（SuperSloMoやEBMEを含む）を用いて評価され、PSNR、SSIM、IEなどの指標において一貫した性能向上が確認された。

Figure 1: Human-centric video frame interpolation results. We propose human-aware auxiliary losses to improve interpolation accuracy at motion boundaries. From left to right: (a): Overlayed inputs, (b): Ground truth, (c): Interpolation results, (d): Interpolation results with our proposed human-awar

実験結果

リサーチクエスチョン

• RQ1 複雑な動きと隠蔽を伴う人中心のスポーツ動画に対して、既存の最先端VFIモデルの性能はどのように低下するのか？
• RQ2 人体セグメンテーションとキーポイント検出による補助監視は、顕著に変形する人体運動のシナリオにおける補間精度を向上させ得るか？
• RQ3 モデルに依存しない人間中心の損失項は、多様なVFIアーキテクチャにおいてどの程度性能を向上させるのか？
• RQ4 現在のオプティカルフロー推定の限界は何か？事前学習済みモデルからの知識蒸留は、VFIのためのフローアクキュラシーを向上させ得るか？
• RQ5 3次元人体ボディ再構築は、隠蔽や複雑な運動状況におけるVFIの性能向上に活用可能か？

主な発見

• SportsSloMoベンチマークは、既存の最先端VFIモデルの性能を顕著に低下させる。EBMEはSNU-FILMでの36.64 PSNRからSportsSloMoでは30.70に低下し、その難易度が浮き彫りになった。
• 提案された人間中心の損失項は、7つの最先端モデルにおいて一貫してPSNRを最大0.69 dB、SSIMを最大0.006向上させた。両損失を組み合わせた場合の向上幅が最大であった。
• SuperSloMoでは、セグメンテーション損失とキーポイント損失の組み合わせにより、PSNRが29.77から30.24に、SSIMが0.910から0.917に向上した。
• EBMEでは、両損失の組み合わせにより、PSNRが30.15から30.48に、SSIMが0.941から0.944に向上し、補間誤差（IE）が5.6%減少した。
• 定性的な結果では、顕著に変形する四肢（例：肘や手）の周囲での補間が向上し、隠蔽下でもゴーストが低減された。
• GMFlowを用いたオプティカルフローの知識蒸留は、混合な結果を示し、SuperSloMoでは向上したがEBMEでは劣化した。これはドメインシフトとモデル固有の感受性を示唆した。

Figure 2: Visualization of human keypoints [ 78 ] and panoptic segmentation masks [ 10 ] .