[論文レビュー] MOMS with Events: Multi-Object Motion Segmentation With Monocular Event Cameras.

Chethan M. Parameshwara, Nitin J. Sanket+3 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Memory and Neural Computing参考文献 29被引用数 6

ひとこと要約

本論文は、古典的最適化と深層学習を組み合わせることで、グローバル剛体運動を推定・補正し、特徴点追跡と時間的勾配の整合性を用いて反復的に複数の運動にシーンをセグメンテーションする、モノクローラルイベントカメラを用いたマルチオブジェクト運動セグメンテーションの新規手法を提案する。EV-IMO、EED、MODデータセットにおいて、それぞれ77.06%、94.2%、82.35%の新しいSOTA平均検出率を達成し、先行手法に比べ最大12%の向上を示した。

ABSTRACT

Segmentation of moving objects in dynamic scenes is a key process in scene understanding for both navigation and video recognition tasks. Without prior knowledge of the object structure and motion, the problem is very challenging due to the plethora of motion parameters to be estimated while being agnostic to motion blur and occlusions. Event sensors, because of their high temporal resolution, and lack of motion blur, seem well suited for addressing this problem. We propose a solution to multi-object motion segmentation using a combination of classical optimization methods along with deep learning and does not require prior knowledge of the 3D motion and the number and structure of objects. Using the events within a time-interval, the method estimates and compensates for the global rigid motion. Then it segments the scene into multiple motions by iteratively fitting and merging models using input tracked feature regions via alignment based on temporal gradients and contrast measures. The approach was successfully evaluated on both challenging real-world and synthetic scenarios from the EV-IMO, EED, and MOD datasets, and outperforms the state-of-the-art detection rate by as much as 12% achieving a new state-of-the-art average detection rate of 77.06%, 94.2% and 82.35% on the aforementioned datasets.

研究の動機と目的

• オブジェクト構造や運動に関する事前知識なしに、動的シーンにおける複数の移動オブジェクトをセグメンテーションする課題に対処すること。
• モノクローラル動画における運動ぼやけ、隠蔽、高次元の運動パrameter推定の難しさを克服すること。
• イベントカメラの高い時間分解能と運動ぼやけの欠如を活用して、運動セグメンテーションを向上させること。
• 3D運動に関する事前知識、オブジェクト数、オブジェクト構造に関する事前知識を必要としない手法を開発すること。
• イベントセンシングを用いてマルチオブジェクト運動セグメンテーションでSOTA性能を達成すること。

提案手法

• まず、時間間隔内のイベントを用いてグローバル剛体運動を推定・補正する。
• フレーム間での特徴領域を追跡し、時間的勾配とコントラスト指標を用いてそれらをモデル適合に適した状態に整合させる。
• 整合性の質と一貫性に基づいて、複数の運動モデルを反復的に適合・統合する。
• 古典的最適化手法と深層学習部品を組み合わせることで、頑健な特徴点追跡と運動推定を実現する。
• エンドツーエンドのアプローチを採用し、オブジェクト数や仮定を前提とせず、イベントデータから複数の独立した運動を推定する。
• 反復的に整合性を改善し、類似した運動成分を統合することで、運動モデルをフィードバックループで精緻化する。

実験結果

リサーチクエスチョン

• RQ1 イベントカメラは、オブジェクト構造や運動に関する事前知識なしに、正確なマルチオブジェクト運動セグメンテーションを可能にするか？
• RQ2 イベントデータにおいて、グローバル剛体運動を効果的に推定・補正することで、複数の運動のセグメンテーションがどのように向上するか？
• RQ3 時間的勾配とコントラスト指標を用いることで、特徴点の追跡における整合性が、運動モデル適合にどの程度向上するか？
• RQ4 本手法は、多様な現実世界およびシミュレーテッドシナリオにおいて、SOTA手法と比較して検出精度でどの程度優れているか？
• RQ5 整合性の質に基づく反復的モデル適合と統合は、隠蔽や運動ぼやけの存在下でも、頑健なセグメンテーションを実現できるか？

主な発見

• 提案手法は、EV-IMOデータセットで77.06%という新しいSOTA平均検出率を達成した。
• EEDデータセットでは94.2%の平均検出率を達成し、先行手法を顕著に上回った。
• MODデータセットでは82.35%の平均検出率を達成し、データセット間での強力な一般化能力を示した。
• 評価されたデータセット全体で、前回のSOTAに比べ最大12%の検出性能向上を達成した。
• イベントセンサの高い時間分解能のおかげで、運動ぼやけや隠蔽を含む困難なシナリオを効果的に処理できた。
• 古典的最適化と深層学習の統合により、オブジェクト数や3D運動に関する事前仮定を必要とせず、頑健かつ正確なセグメンテーションが可能になった。