[論文レビュー] Novel Video Prediction for Large-scale Scene using Optical Flow

Henglai Wei, Xiaochuan Yin+1 more|arXiv (Cornell University)|May 30, 2018

Video Surveillance and Tracking Methods参考文献 14被引用数 13

ひとこと要約

本論文は、複雑な都市環境における将来のフレーム予測を向上させるために、光流とRGB動画シーケンスを活用するエンド・ツー・エンドの動画予測フレームワークを提案する。入力フレームからの空間的・時系列的特徴と、光流からの動きの手がかりを統合することで、KITTIおよびCityscapesデータセットにおいて最先端の性能を達成し、KITTIではPSNRが41.68、SSIMが0.9097を記録し、PredNet や ConvLSTM といった先行手法を顕著に上回った。

ABSTRACT

Making predictions of future frames is a critical challenge in autonomous driving research. Most of the existing methods for video prediction attempt to generate future frames in simple and fixed scenes. In this paper, we propose a novel and effective optical flow conditioned method for the task of video prediction with an application to complex urban scenes. In contrast with previous work, the prediction model only requires video sequences and optical flow sequences for training and testing. Our method uses the rich spatial-temporal features in video sequences. The method takes advantage of the motion information extracting from optical flow maps between neighbor images as well as previous images. Empirical evaluations on the KITTI dataset and the Cityscapes dataset demonstrate the effectiveness of our method.

研究の動機と目的

• 従来の手法が、シーンの多様性や物体同士の相互作用のため、複雑で動的な自動走行シーンにおける正確な動画予測に失敗するという課題に対処すること。
• 手動でのアノテーションや自己運動データを一切必要とせず、ラベルなしのRGBシーケンスと光流にのみ依存する動画予測モデルの開発。
• 光流予測損失とフレーム予測損失の両方を統合して学習することで、予測品質の向上を図ること。
• 大規模なシーンにおいて、自然画像フレームとセマンティックセグメンテーションの両方を高精細に予測すること。

提案手法

• モデルは二重ストリームアーキテクチャを採用：一方のストリームはRGBフレームを処理して空間的・時系列的外観特徴を抽出し、もう一方はフレーム間の光流マップを処理して動き情報を抽出する。
• 光流予測ネットワーク（OFPN）は4つの連続する光流マップを入力とし、次の光流マップを予測することで、動き表現を強化する。
• 動き推定ネットワーク（MEN）は、光流と過去のフレームから、密な変換マップ T を生成し、ピクセル単位の動きダイナミクスをモデル化する。
• 空間的・時系列的予測ネットワーク（STPN）は、外観特徴と動き特徴を統合して、エンド・ツー・エンドで将来のフレームを生成する。
• 構造的一致性とシャープネスを向上させるために、ℓ₁損失とゲート付き微分可能損失（ℓ_gdl）の組み合わせ損失関数を用いてモデルを訓練する。
• 光流予測損失とフレーム予測損失の両方を統合して最適化することで、特徴の共同学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な都市環境における動画予測の向上に、光流を効果的に条件信号として用いることは可能か？
• RQ2 RGB入力にのみ依存する手法と比較して、光流とRGB特徴を統合することで、予測精度とシャープネスにどのような差が生じるか？
• RQ3 提案されたモデルは、大規模なシーンにおける自然画像予測とセマンティックセグメンテーション予測の両タスクに一般化可能か？
• RQ4 光流予測損失とフレーム予測損失の両方を同時に最適化することで、単一タスク学習に比べて性能が向上するか？

主な発見

• 提案手法はKITTIデータセットでPSNR 41.6849、SSIM 0.9097を達成し、PredNet（PSNR: 15.0817、SSIM: 0.4738）を顕著に上回った。
• Cityscapesデータセットでは、セマンティックセグメンテーション予測においてPSNR 26.3671、SSIM 0.9490を達成し、ConvLSTM（PSNR: 18.9462、SSIM: 0.8715）を上回った。
• 定性的な結果から、ベースライン手法に比べて予測がよりシャープで正確であり、動きの一貫性が高く、ぼやけが少ないことが示された。
• モデルは、動的な背景に複数の物体が存在する状況でも、歩行者や車両といった複雑な物体の動きを効果的に捉えられていた。
• 光流を条件信号として用いることで、多様で大規模な都市環境への一般化性能が著しく向上した。