[論文レビュー] A Dynamic Multi-Scale Voxel Flow Network for Video Prediction

Xiaotao Hu, Zhewei Huang+3 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本論文では、入力の動きスケールに応じてサブネットワークを動的に選択する微分可能ルーティングモジュールを活用し、RGB入力のみで将来の動画フレームを予測する動的マルチスケールボクセルフロー網（DMVFN）を提案する。この手法は、Deep Voxel Flow や OPT よりも10倍速く、最先端の動画予測品質を達成する。

ABSTRACT

The performance of video prediction has been greatly boosted by advanced deep neural networks. However, most of the current methods suffer from large model sizes and require extra inputs, e.g., semantic/depth maps, for promising performance. For efficiency consideration, in this paper, we propose a Dynamic Multi-scale Voxel Flow Network (DMVFN) to achieve better video prediction performance at lower computational costs with only RGB images, than previous methods. The core of our DMVFN is a differentiable routing module that can effectively perceive the motion scales of video frames. Once trained, our DMVFN selects adaptive sub-networks for different inputs at the inference stage. Experiments on several benchmarks demonstrate that our DMVFN is an order of magnitude faster than Deep Voxel Flow and surpasses the state-of-the-art iterative-based OPT on generated image quality. Our code and demo are available at https://huxiaotaostasy.github.io/DMVFN/.

研究の動機と目的

• RGBフレームのみを入力として使用する軽量な動画予測モデルの開発。深度やセマンティックマップなどの追加入力を避ける。
• 特に高解像度および複雑なシーンにおける、実世界の動画における多様な動きスケールをモデル化する課題への対処。
• 既存手法と同等またはそれ以上の予測品質を維持しつつ、計算コストと推論時間を低減すること。
• 入力の特徴に応じて最適なサブネットワークを動的に選択できる微分可能ルーティング機構の設計。

提案手法

• コアアーキテクチャは、受容 field を段階的に拡大する dilated 卷積を用いて複数の空間スケールで動きの手がかりを抽出するマルチスケールボクセルフローブロック（MVFB）から構成される。
• 軽量なルーティングモジュールは、共有バックボーンを用いて入力フレームからルーティングベクトルを生成し、微分可能で柔軟なソフトルーティングを実現することで、動的サブネットワーク選択を可能にする。
• ルーティング機構は、エンド・ツー・エンドの学習を可能にするために、バイナリサンプリングを伴うストレートスルー推定（STEBS）を用いる。
• 各 MVFB が特定のスケールの特徴を処理するマルチスケールフロー推定戦略を採用し、最適なパフォーマンスを得るためのスケーリング要因は [4,2,1] に設定されている。
• 各 MVFB 内の空間パスは、スケール間での空間的文脈を保持することで、特徴の集約を強化する。
• 視覚的品質を向上させるために、敵対的損失、知覚的損失、再構成損失の組み合わせを用いて、ネットワーク全体をエンド・ツー・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 RGB入力のみで、追加の入力（深度やセマンティックマップなど）を用いずに、実世界の動画におけるマルチスケールの動きパターンを効果的に処理できる単一の軽量な動画予測モデルは構築可能か？
• RQ2 動的サブネットワーク選択は、動画予測における効率性と精度の両面でどのように向上をもたらすか？
• RQ3 入力依存の動きの複雑さに適応可能な最適な微分可能ルーティング機構の設計はどのようなものか？
• RQ4 スケーリング要因と空間パスの設計は、動画予測におけるマルチスケール動きモデリングにどのように影響を与えるか？
• RQ5 ルーティングベースのアーキテクチャは、イテレーティブまたは固定アーキテクチャのモデルに比べ、速度と視覚的品質の両面で優れているか？

主な発見

• DMVFN は、すべてのベンチマークで MS-SSIM において最先端の性能を達成し、Cityscapes では t+1 時刻で 95.73、t+5 時刻で 83.45 を記録。OPT や Deep Voxel Flow を上回る。
• Deep Voxel Flow よりも10倍速く、GFLOPs を削減しながらも、画像品質を維持または向上させる。
• STEBS を用いたルーティングモジュールは、Gumbel Softmax やランダムルーティングに比べ、特に長期予測において優れた動的適応性を示し、性能が優れている。
• MVFB に組み込まれた空間パスは、すべてのデータセットで 1.5–2.0 MS-SSIM ポイントの向上をもたらし、特徴集約の有効性を実証している。
• 最適なスケーリング要因の順序 [4,2,1] が最良のパフォーマンスを示し、Cityscapes の t+5 時刻で [1] に比べ 2.5 ポイントの向上を達成した。
• アブレーションスタディの結果、ルーティングモジュールと空間パスの両方が不可欠であり、フルな DMVFN は変種よりも 1.5–3.0 MS-SSIM ポイント優れていることが確認された。