[論文レビュー] Learning Motion Patterns in Videos

Pavel Tokmakov, Karteek Alahari+1 more|arXiv (Cornell University)|Dec 21, 2016

Advanced Vision and Imaging参考文献 37被引用数 4

ひとこと要約

本稿では、合成動画データから動きのパターンを学習する完全畳み込みネットワークであるMP-Netを提案する。この手法は、物体の動きとカメラの動きを区別し、Moving Object Segmentationで最先端の性能を達成する。光-flow、オブジェクトネスマップ、CRFの最適化を活用することで、DAVISベンチマークで先行手法より5.6%高い平均IoUを達成した。入力はフレームレベルのみに限定されているにもかかわらずである。

ABSTRACT

The problem of determining whether an object is in motion, irrespective of camera motion, is far from being solved. We address this challenging task by learning motion patterns in videos. The core of our approach is a fully convolutional network, which is learned entirely from synthetic video sequences, and their ground-truth optical flow and motion segmentation. This encoder-decoder style architecture first learns a coarse representation of the optical flow field features, and then refines it iteratively to produce motion labels at the original high-resolution. We further improve this labeling with an objectness map and a conditional random field, to account for errors in optical flow, and also to focus on moving "things" rather than "stuff". The output label of each pixel denotes whether it has undergone independent motion, i.e., irrespective of camera motion. We demonstrate the benefits of this learning framework on the moving object segmentation task, where the goal is to segment all objects in motion. Our approach outperforms the top method on the recently released DAVIS benchmark dataset, comprising real-world sequences, by 5.6%. We also evaluate on the Berkeley motion segmentation database, achieving state-of-the-art results.

研究の動機と目的

• 動画における独立した物体の動きとカメラの動きを区別するという長年の課題に取り組む。
• カメラの動きに関係なく、自動的に動いている物体を特定する学習ベースのフレームワークを開発する。
• 動きのパターン学習とオブジェクトネス、CRFの最適化を統合することで、動いている物体のセグメンテーションを向上させる。
• 動画レベルの時間的伝搬に依存せず、実世界の動画データセットで最先端の性能を達成する。
• 複雑な動きパターンを示す多様な実世界のシーケンスへの一般化を示す。

提案手法

• FlyingThings3Dの合成動画シーケンスを用いて、真値の光-flowと動きセグメンテーションを伴う、完全畳み込みエンコーダ・デコーダネットワーク（MP-Net）をエンドツーエンドで学習する。
• MP-Netの入力に光-flowフィールドを用い、各画素ごとの独立した動きを示すスコアを予測する。
• 顕著な動いているオブジェクトを強調し、水や煙などの「ストラクチャー（物質）」を抑制するために、オブジェクトネスマップを用いてMP-Netの予測を最適化する。
• 空間的一致性を強制し、動きラベルの局所的誤りを是正するために、条件付きランダムフィールド（CRF）を適用する。
• 複雑な動画レベルの推論やトラッキングを避けるために、2フレーム分の光-flow入力のみを活用する。
• 既存の動画セグメンテーションフレームワーク（例：FST [27]）にMP-Netの予測を統合することで、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 合成データで学習したディープラーニングモデルは、実世界の動画の動きセグメンテーションタスクに一般化可能か？
• RQ2 光-flowのみを用いて、完全畳み込みネットワークが物体の動きとカメラの動きをどれほど効果的に分離できるか？
• RQ3 オブジェクトネスマップとCRFの最適化は、光-flowの誤差が生じる状況下でも、動きラベリングの正確性をどの程度向上させるか？
• RQ4 時間的伝搬を用いないフレームレベル手法が、動画レベル手法を上回る性能を達成できるか？
• RQ5 ゆっくり動く、または小さなオブジェクトを含む曖昧な、または複雑な動きシナリオにおいて、モデルの性能はいかがなものか？

主な発見

• MP-NetはDAVISベンチマークで、平均交差率（IoU）72.1%を達成し、トップ手法を5.6%上回った。
• DAVISでは、最良の先行手法（NLC）に比べてF-measureが7%向上し、平均F-measureは85.3%に達した。
• FST [27]フレームワークに統合した場合、BMS-26データセットで14%の性能向上を達成し、PCM [3]と同等の性能を再現した。
• FBMSテストセットでは、MP+Obj+FSTアプローチが77.5%のF-measureを達成し、FST（69.2）、CVOS（74.9）、CUT（76.8）を上回った。
• 定性的な結果では、FST や NLC と比較して、境界の正確性が優れており、背景領域への漏れも顕著に減少していた。特に、動いている水や小さなオブジェクトにおいて顕著であった。
• モデルは光-flowの誤差に対しても頑健であり、カメラの動きと物体の動きが類似している状況でも、学習された動きのパターンの区別により、効果的にオブジェクトをセグメンテーションしている。