[論文レビュー] Video Interpolation via Generalized Deformable Convolution

Zhihao Shi, Xiaohong Liu+3 more|arXiv (Cornell University)|Aug 24, 2020

Advanced Vision and Imaging参考文献 53被引用数 12

ひとこと要約

本稿では、動画補間のための一般化可変畳み込みを提案し、データ駆動型の動きモデリングと柔軟な空間時間的サンプリングを可能にすることで、フローに基づく手法やカーネルに基づく手法の限界を克服する。この手法は、データから直接適応的サンプリングパターンを学習することにより、特に複雑な動きのシーケンスにおいて最先端の性能を達成する。

ABSTRACT

Video interpolation aims at increasing the frame rate of a given video by synthesizing intermediate frames. The existing video interpolation methods can be roughly divided into two categories: flow-based methods and kernel-based methods. The performance of flow-based methods is often jeopardized by the inaccuracy of flow map estimation due to oversimplified motion models while that of kernel-based methods tends to be constrained by the rigidity of kernel shape. To address these performance-limiting issues, a novel mechanism named generalized deformable convolution is proposed, which can effectively learn motion information in a data-driven manner and freely select sampling points in space-time. We further develop a new video interpolation method based on this mechanism. Our extensive experiments demonstrate that the new method performs favorably against the state-of-the-art, especially when dealing with complex motions.

研究の動機と目的

• 単純化された動きモデルに起因する不正確なフローマップ推定が引き起こすフローに基づく動画補間の性能低下を是正する。
• 複雑な動きをモデル化する能力を制限する、カーネルに基づく手法におけるカーネル形状の剛性を克服する。
• 動画データから直接動き情報を学習する柔軟でデータ駆動型のメカニズムを開発する。
• 空間的および時間的両方でサンプリング点の選択を自由に行える動画補間フレームワークを設計する。
• 特に複雑な動きパターンに対して優れた性能を達成する、挑戦的な動画補間ベンチマークで優れた結果を出す。

提案手法

• 空間的および時間的次元におけるサンプリングオフセットを、エンドツーエンド微分可能に学習する、新しいメカニズムとして一般化可変畳み込みを提案する。
• ネットワークが入力コンテンツおよび動きコンテキストに基づいて、どこに特徴量をサンプリングするかを予測することで、動的で適応的なサンプリングを可能にする。
• 一般化可変畳み込みを動画補間アーキテクチャに統合し、高品質な中間フレームを合成する。
• サンプリングメカニズムの柔軟性を活用して、明示的なフローよりも複雑で非一様な動きをモデル化する。
• 再構成損失を用いてエンドツーエンドでモデルを訓練し、中間フレームの合成を最適化する。
• 剛体運動や固定カーネル形状の仮定を避けるために、サンプリングオフセットを通じて動き表現を暗黙的に学習する。

実験結果

リサーチクエスチョン

• RQ1 複雑な動き下で、従来のフローに基づく手法に比べて、データ駆動型のサンプリングメカニズムが優れた性能を発揮できるか？
• RQ2 空間時間的サンプリング点の選択を自由に許容することで、固定または剛性のあるカーネル形状に比べて補間品質が向上するか？
• RQ3 提案手法である一般化可変畳み込みは、大規模または非一様な動きを示す挑戦的な動画シーケンスでどのように性能を発揮するか？
• RQ4 明示的なフローサポートなしで、多様な動画コンテンツに一般化できるか？
• RQ5 適応的サンプリングの影響は、補間フレームの視覚的品質および定量的指標（FID や LPIPS）にどのように現れるか？

主な発見

• 提案手法は、標準的な動画補間ベンチマークで最先端の性能を達成しており、特に複雑な動きを示すシーケンスで顕著な優位性を示す。
• 一般化可変畳み込みは、不正確なフローマップに依存するのを減らすデータ駆動型の動き情報学習を効果的に実現する。
• 従来のフローに基づく手法が動きの複雑さのために失敗するような挑戦的なシーケンスにおいても、優れた一般化性能を示す。
• 適応的サンプリングの柔軟性により、視覚的品質が向上し、FID や LPIPS などの定量的指標も改善される。
• 固定カーネル形状の制限を克服することで、複雑な動きパターンをモデル化する能力が向上し、カーネルに基づく手法に比べて優れた結果を達成する。
• 広範なアブレーションスタディにより、提案メカニズムが多様な動きタイプにわたる補間精度およびロバスト性を顕著に向上させることを確認した。