[论文解读] Background subtraction using the factored 3-way restricted Boltzmann machines

Soonam Lee, Daekeun Kim|arXiv (Cornell University)|Feb 5, 2018

Advanced Vision and Imaging参考文献 13被引用 10

一句话总结

本文提出一种因子化的三路受限玻尔兹曼机（RBM），用于从序列图像中学习全局运动模式，通过检测与预测运动的偏差实现背景减除。通过学习的光流场建模平移与旋转，该方法将前景物体识别为违反全局运动的区域，在无需传统计算机视觉技术的情况下实现鲁棒的基于运动的分割。

ABSTRACT

In this paper, we proposed a method for reconstructing the 3D model based on continuous sensory input. The robot can draw on extremely large data from the real world using various sensors. However, the sensory inputs are usually too noisy and high-dimensional data. It is very difficult and time consuming for robot to process using such raw data when the robot tries to construct 3D model. Hence, there needs to be a method that can extract useful information from such sensory inputs. To address this problem our method utilizes the concept of Object Semantic Hierarchy (OSH). Different from the previous work that used this hierarchy framework, we extract the motion information using the Deep Belief Network technique instead of applying classical computer vision approaches. We have trained on two large sets of random dot images (10,000) which are translated and rotated, respectively, and have successfully extracted several bases that explain the translation and rotation motion. Based on this translation and rotation bases, background subtraction have become possible using Object Semantic Hierarchy.

研究动机与目标

• 解决在机器人3D环境感知中，从高维、噪声视觉传感器数据中提取有意义运动信息的挑战。
• 通过学习全局运动模式而非依赖SIFT或HOG等经典计算机视觉方法，改进视频序列中的背景减除。
• 将深度置信网络（DBNs）与物体语义层次（OSH）框架结合，实现运动感知的场景理解。
• 证明因子化的三路RBM能够从图像对中提取平移与旋转基，实现运动流估计与前景检测。

提出的方法

• 将三路因子化RBM调整为接受两幅序列图像作为可见单元，建模它们之间的变换关系。
• 采用基于能量的建模方法，通过可见偏置、隐藏偏置和权重矩阵，学习输入与输出图像对之间的联合概率分布。
• 在10,000张随机点图像（平移）和1,000张MNIST图像（旋转）上进行训练，以学习运动不变基。
• 通过识别每个输入像素对应最激活的输出像素，提取最大光流场，可视化运动流。
• 利用推断的光流场通过类比方式从未见输入重建输出图像，验证运动泛化能力。
• 在OSH框架内，利用全局运动模型对图像中的背景（运动一致）与前景（运动违反）区域进行分割。

实验结果

研究问题

• RQ1 因子化的三路RBM能否有效从序列图像对中学习平移与旋转运动模式？
• RQ2 所学习的运动流场能否通过检测与全局运动的偏差，实现准确的背景减除？
• RQ3 DBNs与OSH框架的结合是否相比经典计算机视觉方法，能提升基于运动的场景理解能力？
• RQ4 该模型能否利用推断的运动场泛化重建未见图像？

主要发现

• 该模型成功从二值随机点图像和MNIST图像序列中学习到9种不同的平移模式（例如：上、下、对角线）以及360°旋转模式。
• 最大光流场清晰地可视化了主导的全局运动方向，如均匀向上的运动或环形旋转，证实了运动模式的提取。
• 通过使用推断的运动场，模型能够准确重建未见输入的输出图像，展示了其泛化能力。
• 违反预测全局运动的区域被可靠识别为前景，验证了背景减除机制的有效性。
• 该方法通过摒弃对SIFT或HOG等手工设计特征的依赖，转而从数据中学习运动，相比经典方法表现更优。