[論文レビュー] Multi-Scale Video Frame-Synthesis Network with Transitive Consistency Loss

Zhe Hu, Yinglan Ma+1 more|arXiv (Cornell University)|Dec 7, 2017

Advanced Vision and Imaging参考文献 39被引用数 8

ひとこと要約

本稿では、再訓練を必要とせず、任意の時間的位置でエンド・ツー・エンドの動画フレーム補間および外挿を実現する統合的でマルチスケールな深層ネットワークMSFSNを提案する。移行的整合性損失を導入し、マルチスケールピラミッドレベル間でパラメータを共有することで、モデルサイズを削減しつつ高い効率性を達成し、モバイルおよびエッジデバイスに適した最先端の性能を実現した。

ABSTRACT

Traditional approaches to interpolate/extrapolate frames in a video sequence require accurate pixel correspondences between images, e.g., using optical flow. Their results stem on the accuracy of optical flow estimation, and could generate heavy artifacts when flow estimation failed. Recently methods using auto-encoder has shown impressive progress, however they are usually trained for specific interpolation/extrapolation settings and lack of flexibility and In order to reduce these limitations, we propose a unified network to parameterize the interest frame position and therefore infer interpolate/extrapolate frames within the same framework. To achieve this, we introduce a transitive consistency loss to better regularize the network. We adopt a multi-scale structure for the network so that the parameters can be shared across multi-layers. Our approach avoids expensive global optimization of optical flow methods, and is efficient and flexible for video interpolation/extrapolation applications. Experimental results have shown that our method performs favorably against state-of-the-art methods.

研究の動機と目的

• 固定された補間／外挿設定に特化して訓練された従来のフレーム生成手法の限界、すなわち時間的位置間での一般化能力の欠如を解決する。
• 計算コストが高く、運動の曖昧性に起因するアーチファクトを引き起こしやすい光学フロー推定への依存度を低減する。
• 再訓練なしで任意の時間比—補間または外挿—でのフレーム生成が可能な、単一の統合ネットワークの開発。
• モデルサイズを最小限に抑えつつ高い再構成品質を維持することで、モバイルおよびエッジデバイスへの効率的なデプロイを可能にする。
• 新しい移行的整合性損失を用いることで、多様な運動パターンにわたる訓練の安定性と一般化性能を向上させる。

提案手法

• 階層的特徴ピラミッドを介して粗い段階から細かい段階へと目的フレームを再構築するマルチスケールフレーム生成ネットワーク（MSFSN）を提案する。
• 複数のフレーム予測間の論理的整合性を強制するための移行的整合性損失を導入し、補間および外挿タスクの共同学習を可能にする。
• 入力／出力フォーマットおよび機能的役割を整えることで、ピラミッドレベル間でネットワークパラメータを共有し、モデルサイズの削減とスケーラビリティの向上を実現する。
• 目的フレームの時間的位置を学習可能な変数としてパrameterizeすることで、推論時に任意の時間比に一般化可能にする。
• 明示的な光学フロー推定を伴わず、空間的に適応する畳み込みを用いた残差ブロックを用いて、運動の変動をモデル化する。
• 再構成損失と移行的整合性損失の組み合わせを用いてエンド・ツー・エンドで学習し、時間的整合性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしで、任意の時間的位置（補間または外挿）で動画フレーム生成が可能な単一の深層ニューラルネットワークを訓練可能か？
• RQ2 複数のフレーム予測間で移行的整合性をどのように強制することで、訓練の安定性と一般化性能を向上できるか？
• RQ3 マルチスケールピラミッドレベル間でのパラメータ共有は、高精度な再構成を維持しつつ、どの程度モデルサイズを削減できるか？
• RQ4 大規模な運動や隠蔽が生じる状況下でも、流れベースおよびオートエナボーダーに基づく手法と比較して、視覚的品質、効率性、耐性性能において本手法はどのように差をつけるか？
• RQ5 アーキテクチャの変更やファインチューニングなしに、統合フレームワークが補間および外挿タスクを効果的に処理できるか？

主な発見

• 提案されたMSFSNは、KITTI、UCF-101、THUMOS-15のベンチマークデータセットにおいて、補間および外挿タスクの両方で最先端の性能を達成した。
• FlowNet2 や AdapSC と比較して、特に複数フレーム補間の状況下で、よりシャープな結果と直線、微細なディテールの良好な保持を実現した。
• ユーザースタディの結果、70%の参加者が本手法を FlowNet2、EpicFlow、DVF と比較して好んだ。性能は AdapSC と同等であった。
• オートエナボーダーに基づく手法（例：[31, 32, 24]）と比較して、ネットワークが著しく小さく、モバイルおよびエッジデバイスへのデプロイに適している。
• 移行的整合性損失は訓練を効果的に正則化し、性能の低下を伴わずに補間および外挿の共同最適化を可能にした。
• モデルは長距離の運動に対しても良好に一般化でき、推論時にピラミッドレベルをさらに積み重ねることで、能力を拡張可能である。