[论文解读] Detection, Recognition and Tracking of Moving Objects from Real-time Video via SP Theory of Intelligence and Species Inspired PSO

Kumar S. Ray, Sayandip Dutta+1 more|arXiv (Cornell University)|Apr 12, 2017

Video Surveillance and Tracking Methods参考文献 14被引用 7

一句话总结

本文提出了一种新颖的实时框架，用于在视频中检测、识别和跟踪运动物体，采用SP智能理论进行物体表征，并利用物种启发的粒子群优化（PSO）进行跟踪。通过利用多重对齐和合型类别来建模层次化的部件与子部件，该方法在遮挡和场景变化条件下实现了鲁棒的识别性能，在David和Jogging等标准视频基准测试中表现优异。

ABSTRACT

In this paper, we address the basic problem of recognizing moving objects in video images using SP Theory of Intelligence. The concept of SP Theory of Intelligence which is a framework of artificial intelligence, was first introduced by Gerard J Wolff, where S stands for Simplicity and P stands for Power. Using the concept of multiple alignment, we detect and recognize object of our interest in video frames with multilevel hierarchical parts and subparts, based on polythetic categories. We track the recognized objects using the species based Particle Swarm Optimization (PSO). First, we extract the multiple alignment of our object of interest from training images. In order to recognize accurately and handle occlusion, we use the polythetic concepts on raw data line to omit the redundant noise via searching for best alignment representing the features from the extracted alignments. We recognize the domain of interest from the video scenes in form of wide variety of multiple alignments to handle scene variability. Unsupervised learning is done in the SP model following the DONSVIC principle and natural structures are discovered via information compression and pattern analysis. After successful recognition of objects, we use species based PSO algorithm as the alignments of our object of interest is analogues to observation likelihood and fitness ability of species. Subsequently, we analyze the competition and repulsion among species with annealed Gaussian based PSO. We have tested our algorithms on David, Walking2, FaceOcc1, Jogging and Dudek, obtaining very satisfactory and competitive results.

研究动机与目标

• 解决在光照、姿态和遮挡条件变化下实时视频中运动物体识别的挑战。
• 开发一种统一框架，整合基于SP智能理论的物体检测、识别与跟踪。
• 通过在基于物种的PSO优化框架中将物体对齐建模为适应度函数，提升跟踪的鲁棒性。
• 通过信息压缩和基于DONSVIC原理的模式发现，实现无监督学习。
• 通过使用合型类别进行多层次对齐表示，应对场景变化。

提出的方法

• 采用SP智能理论，其中'S'代表简洁性，'P'代表强大性，通过部件与子部件的多层次对齐来表征物体。
• 应用合型类别通过识别多个实例间的共性来建模物体特征，从而减少原始图像数据中的噪声和冗余。
• 采用基于DONSVIC原理的无监督学习，通过信息压缩和模式分析发现自然结构。
• 将物体对齐映射为基于物种的PSO算法中的观测似然性和适应度，其中每个粒子代表一个潜在的物体状态。
• 采用模拟退火高斯分布的PSO来建模物种（粒子）之间的竞争与排斥，提升跟踪过程中的收敛性和鲁棒性。
• 使用训练图像提取多重对齐，作为视频序列中实时识别与跟踪的参考模板。

实验结果

研究问题

• RQ1 如何通过统一的认知框架在遮挡和场景变化条件下提升实时视频中的物体识别性能？
• RQ2 SP智能理论在多重新对齐的支撑下，能在多大程度上实现对层次化物体部件的鲁棒表征？
• RQ3 与标准PSO相比，物种启发的PSO在动态视频环境中如何提升跟踪性能？
• RQ4 通过DONSVIC原理的无监督学习能否在无标注数据的情况下有效发现自然物体结构？
• RQ5 合型类别如何在原始视频数据中实现降噪并提升识别准确率？

主要发现

• 所提方法在David、Walking2、FaceOcc1、Jogging和Dudek等基准视频序列中取得了极具竞争力的识别与跟踪结果。
• 多重对齐与合型类别的结合显著提升了在部分遮挡和场景变化条件下的识别鲁棒性。
• 物种启发的PSO通过使用模拟退火高斯分布建模粒子间竞争与排斥，表现出更优的收敛性与稳定性。
• 基于DONSVIC原理的无监督学习通过信息压缩成功发现了自然物体结构，实现了无需人工标注的有效特征提取。
• SP表征与PSO跟踪的融合构建了一个协调一致的系统，在处理复杂视频动态方面优于基线方法。
• 该框架在多样化视频领域中表现出强大的泛化能力，表明其在真实世界监控与安防应用中具备可扩展性与适应性。