[論文レビュー] It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos

Pia Bideau, Erik Learned-Miller|arXiv (Cornell University)|Apr 1, 2016

Advanced Vision and Imaging参考文献 32被引用数 5

ひとこと要約

本稿では、動きカメラ動画における因果的運動セグメンテーションを向上させるために、光流における大きさ依存の角度尤度を活用する新規な確率的運動セグメンテーションモデルを提案する。光流の不確実性を、流れの大きさに条件づけたバージョン・マイス分布でモデル化することで、3つのベンチマーク（BMS-26、Complex Background、および新規の camouflage 動物データセットを含む）において、Fスコアおよびマチュー相関係数の両面で、先行手法を大きく上回る最先端の性能を達成した。

ABSTRACT

The human ability to detect and segment moving objects works in the presence of multiple objects, complex background geometry, motion of the observer, and even camouflage. In addition to all of this, the ability to detect motion is nearly instantaneous. While there has been much recent progress in motion segmentation, it still appears we are far from human capabilities. In this work, we derive from first principles a new likelihood function for assessing the probability of an optical flow vector given the 3D motion direction of an object. This likelihood uses a novel combination of the angle and magnitude of the optical flow to maximize the information about the true motions of objects. Using this new likelihood and several innovations in initialization, we develop a motion segmentation algorithm that beats current state-of-the-art methods by a large margin. We compare to five state-of-the-art methods on two established benchmarks, and a third new data set of camouflaged animals, which we introduce to push motion segmentation to the next level.

研究の動機と目的

• 複雑な背景、観測者の動き、および camouflage の下でも、人間並みの速度と頑健性を備えた動的物体検出を実現する因果的運動セグメンテーションアルゴリズムの開発。
• 光流からの3次元運動推定における根本的曖昧性に対処するため、流れの大きさに応じた流れ角度の不確実性をモデル化する。
• 透視投影と光流形成モデルに基づく整合的な尤度関数を導出することで、運動セグメンテーションの精度を向上させる。
• 多様で挑戦的なデータセット（特に新規の camouflage 動物のベンチマークを含む）上で評価することで、実世界における頑健性を検証する。

提案手法

• 透視投影とノイズモデルを用いて、3次元運動方向 $ M $ と流れの大きさ $ \mathbf{t}_{r} $ を条件とする光学的流れ角度 $ \mathbf{t}_{\theta} $ の新たな条件付き尤度 $ p(\mathbf{t}_{\theta}|M,\mathbf{t}_{r}) $ を導出する。
• 流れの大きさ $ \mathbf{t}_{r} $ に明示的に依存する集中パラメータ $ \kappa $ を持つバージョン・マイス分布を導入し、小さな流れは情報が少なく、大きな流れはより信頼性が高いとモデル化する。
• 制約付き RANSAC を用いた初期化手法を採用し、前景物体が背景と誤分類されないよう、背景運動を頑健に推定する。
• ベイジアンフレームワークを用いて、新しい尤度関数と運動に関する事前仮定を統合し、動的物体の確率的セグメンテーションを実現する。
• 2フレーム間の前方のみの流れに依存する因果推論戦略を採用し、将来のフレームにわたる非因果的トラジェクトリ追跡を回避する。
• 視覚的 camouflage に極めて強い状況をテストするため、9本の camouflage 動物映像からなる新規なデータ駆動型ベンチマークを導入する。

実験結果

リサーチクエスチョン

• RQ1 小さな動きやノイズが存在する状況で、光学的流れの不確実性をより効果的にモデル化する方法は何か？
• RQ2 流れの大きさに応じて流れ角度尤度を条件づけることで、定数の集中パラメータモデルと比較して、セグメンテーション精度がどの程度向上するか？
• RQ3 複雑なシーンにおいて、非因果的で複数フレームにわたる軌道ベース手法と比較して、因果的で2フレームベースの運動セグメンテーション手法が優れているか？
• RQ4 本手法は、自然環境における極めて挑戦的な状況（例：camouflage 動物）にどの程度一般化できるか？
• RQ5 外れ値や複雑な背景が存在する状況で、頑健な初期化（例：RANSAC）がセグメンテーション性能に与える影響は何か？

主な発見

• BMS-26 データセットにおいて、平均マチュー相関係数（MCC）が 0.7576 と最高を記録し、2番目に良い手法（0.6843）を著しく上回った。
• Complex Background データセットでは、MCC が 0.7491 に達し、次に良い手法より 4.9 パーセンテージポイント高い結果を達成した。
• 新規の Camouflaged Animal データセットでは、MCC が 0.5344 となり、定数 $ \kappa $ ベースライン（0.3128）と比較して 22 パーセンテージポイントも向上し、極端な camouflage に対しても頑健であることを示した。
• 流れの大きさに依存する $ \kappa $ の導入により、3つのデータセットでそれぞれ 7%、5%、22% の性能向上が見られ、流れの大きさが不確実性モデル化において極めて重要であることを裏付けた。
• 制約付き RANSAC 初期化により、前景物体が背景と誤って分類される現象が軽減された。視覚的比較では、他の手法が木や壁を背景として誤ってセグメンテーションしているのに対し、本手法は正しく分類していた。
• Fスコアおよび MCC の両指標において、3つのデータセットすべてで5つの最先端手法を上回り、特に camouflage 動物ベンチマークで最大の差を示した。