[论文解读] It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos

Pia Bideau, Erik Learned-Miller|arXiv (Cornell University)|Apr 1, 2016

Advanced Vision and Imaging参考文献 32被引用 5

一句话总结

本文提出了一种新颖的基于概率的运动分割模型，利用与幅值相关的角度似然函数对光流进行建模，从而提升运动相机视频中因果运动分割的性能。通过使用以光流幅值为条件的冯·米塞斯分布来建模光流中的不确定性，该方法在三个基准数据集上均取得了最先进性能，包括一个全新的伪装动物数据集，在F-measure和马修斯相关系数上均大幅超越了先前方法。

ABSTRACT

The human ability to detect and segment moving objects works in the presence of multiple objects, complex background geometry, motion of the observer, and even camouflage. In addition to all of this, the ability to detect motion is nearly instantaneous. While there has been much recent progress in motion segmentation, it still appears we are far from human capabilities. In this work, we derive from first principles a new likelihood function for assessing the probability of an optical flow vector given the 3D motion direction of an object. This likelihood uses a novel combination of the angle and magnitude of the optical flow to maximize the information about the true motions of objects. Using this new likelihood and several innovations in initialization, we develop a motion segmentation algorithm that beats current state-of-the-art methods by a large margin. We compare to five state-of-the-art methods on two established benchmarks, and a third new data set of camouflaged animals, which we introduce to push motion segmentation to the next level.

研究动机与目标

• 开发一种因果运动分割算法，能够在复杂背景、观察者运动和伪装等条件下，实现与人类水平相当的速度和鲁棒性。
• 通过将光流角度不确定性建模为光流幅值的函数，解决从光流中估计三维运动时的根本模糊性问题。
• 通过从透视投影和光流形成模型中推导出合理的似然函数，提升运动分割的准确性。
• 在多样且具有挑战性的数据集上评估该方法，包括一个全新的伪装动物基准数据集，以检验其在真实场景中的鲁棒性。

提出的方法

• 推导出一个新的条件似然函数 $ p(\mathbf{t}_{\theta}|M,\mathbf{t}_{r}) $，用于建模在给定三维运动方向 $ M $ 和光流幅值 $ \mathbf{t}_{r} $ 条件下，光流角度 $ \mathbf{t}_{\theta} $ 的概率，基于透视投影和噪声建模。
• 引入一种冯·米塞斯分布来表示光流角度似然，其集中参数 $ \kappa $ 显式依赖于光流幅值 $ \mathbf{t}_{r} $，使得小幅流更不具信息量，而大幅流更可靠。
• 采用基于约束RANSAC的初始化方法，以鲁棒地估计背景运动，避免将前景物体错误分类为背景。
• 在贝叶斯框架下结合新的似然函数与运动的先验假设，实现移动物体的概率分割。
• 采用仅依赖于两帧之间前向光流的因果推断策略，避免对后续帧进行非因果轨迹追踪。
• 引入一个包含九段伪装动物视频的新型数据驱动基准，用于测试在极端视觉伪装条件下的分割性能。

实验结果

研究问题

• RQ1 如何更有效地建模光流不确定性，以在小运动和噪声存在的情况下提升运动分割性能？
• RQ2 与恒定集中参数模型相比，将光流角度似然函数基于光流幅值进行条件化，能在多大程度上提升分割准确性？
• RQ3 在复杂场景中，基于两帧的因果运动分割方法是否能优于非因果的多帧轨迹跟踪方法？
• RQ4 该方法在高度挑战性的场景（如自然场景中的伪装动物）下泛化能力如何？
• RQ5 在存在异常值和复杂背景的情况下，鲁棒初始化（如RANSAC）对分割性能有何影响？

主要发现

• 在BMS-26数据集上，该方法取得了0.7576的平均马修斯相关系数（MCC），显著优于第二名方法的0.6843。
• 在Complex Background数据集上，该方法的MCC达到0.7491，比次优方法高出4.9个百分点。
• 在新提出的Camouflaged Animal数据集上，该方法的MCC为0.5344，较恒定 $ \kappa $ 基线（0.3128）提升了22个百分点，证明了其对极端伪装的鲁棒性。
• 与恒定 $ \kappa $ 模型相比，采用幅值依赖的 $ \kappa $ 在三个数据集上的性能分别提升了7%、5%和22%，证明了光流幅值在不确定性建模中的关键作用。
• 约束RANSAC初始化有效减少了将前景物体误判为背景的情况，视觉对比显示其他方法错误地将树木和墙壁分割为背景。
• 在所有三个数据集上，该方法在F-measure和MCC指标上均优于五种最先进方法，尤其在伪装动物基准上优势最大。