[論文レビュー] Quadratic video interpolation

Xiangyu Xu, Siyao Li+3 more|arXiv (Cornell University)|Nov 2, 2019

Advanced Vision and Imaging被引用数 47

ひとこと要約

この論文は、近傍フレームからの加速度情報を活用して正確な中間フレームを合成する二次のビデオ補間法を提案し、Flow Reversal Layer（流れ反転層）と適応的流れフィルタリングによって高品質なフレーム合成を実現します。

ABSTRACT

Video interpolation is an important problem in computer vision, which helps overcome the temporal limitation of camera sensors. Existing video interpolation methods usually assume uniform motion between consecutive frames and use linear models for interpolation, which cannot well approximate the complex motion in the real world. To address these issues, we propose a quadratic video interpolation method which exploits the acceleration information in videos. This method allows prediction with curvilinear trajectory and variable velocity, and generates more accurate interpolation results. For high-quality frame synthesis, we develop a flow reversal layer to estimate flow fields starting from the unknown target frame to the source frame. In addition, we present techniques for flow refinement. Extensive experiments demonstrate that our approach performs favorably against the existing linear models on a wide variety of video datasets.

研究の動機と目的

• ビデオフレーム補間を線形運動を超えて加速度情報を活用することで改善する動機付け。
• フレーム0から中間時刻tへの前方変位を予測する二次的フロー模型を開発。
• 既知のフレームからの合成のために後方流を推定するFlow Reversal Layerを導入。
• 流れ推定を精錬しアーティファクトを低減する適応的流れフィルタリングネットワークを提案。
• 複数データセット（GOPRO、Adobe240、UCF101、DAVIS）で最先端の性能を実証。

提案手法

• f0→t を f0→1 および f0→−1 からの二次モデルを用いて前方流を予測。
• 微分可能なFlow Reversal Layerを介して、投影された流れを集約して f t→0 の backward flow を推定。
• 適応的フィルタリングネットワークで逆流を refinement し、サンプリングオフセットと残差を学習。
• 学習済みマスクを用いて I0 と I1 をワープさせ、合成中間フレームを得る。
• L1 と知覚的（perceptual）項を組み合わせた損失でエンドツーエンド訓練。
• 高次モデル（３次モデル）へ拡張するオプションを検討。

実験結果

リサーチクエスチョン

• RQ1 二次モデルによる加速度情報の組み込みは、線形手法より補間品質を改善するか。
• RQ2 微分可能なFlow Reversal Layerは高品質なフレーム合成のための効果的な backward flow 推定を可能にするか。
• RQ3 適応的流れフィルタリングは逆流マップのアーティファクトを減らし視覚的忠実性を向上させるか。
• RQ4 提案する二次補間は、多様なデータセットで最先端手法と比較してどのように性能を発揮するか。

主な発見

Method	GOPRO Whole PSNR	GOPRO Whole SSIM	GOPRO IE	Adobe240 Whole PSNR	Adobe240 Whole SSIM	Adobe240 IE
Phase	23.95	0.700	17.89	22.05	0.620	22.08
DVF	21.94	0.776	21.30	20.55	0.720	25.14
SepConv	29.52	0.922	9.26	27.69	0.895	11.38
SuperSloMo	29.00	0.918	9.51	27.33	0.892	11.50
Ours w/o qua.	29.57	0.923	9.02	27.86	0.898	10.93
Ours	31.27	0.948	7.23	29.62	0.929	8.73

• 二次法はGOPROとAdobe240でPSNRとSSIMで線形法を上回り、補間誤差（IE）を低減する。
• 加速度情報（二次流）を用いると、qua の有無に比べて複数データセットでPSNR/SSIMの有意な向上を得られる。
• Flow Reversal Layerは単純な線形結合よりも正確な後向き流を生成し、合成品質を改善する。
• 適応的流れフィルタリングは逆流のアーティファクトを抑制し、よりクリアな補間をもたらす。
• UCF101とDAVIS全体で、二次モデルは competitive なPSNR/SSIMと低いIEを実現し、良い一般化を示す。