[论文解读] Active Mining of Parallel Video Streams

Samaneh Khoshrou, Jaime S. Cardoso+1 more|arXiv (Cornell University)|May 14, 2014

Data Stream Mining Techniques参考文献 32被引用 3

一句话总结

本文提出 NEVIL，一种用于多摄像头监控中跨并行、演化视频流进行增量分类的半监督主动学习框架。通过自适应选择最具信息量的样本进行人工标注，并结合多种分类器使用动态融合规则，NEVIL 在合成数据上实现超过 90% 的准确率，标注成本低于 15%；在真实 CAVIAR 数据上实现超过 80% 的准确率，标注成本低于 30%，优于被动学习和基线主动学习方法。

ABSTRACT

The practicality of a video surveillance system is adversely limited by the amount of queries that can be placed on human resources and their vigilance in response. To transcend this limitation, a major effort under way is to include software that (fully or at least semi) automatically mines video footage, reducing the burden imposed to the system. Herein, we propose a semi-supervised incremental learning framework for evolving visual streams in order to develop a robust and flexible track classification system. Our proposed method learns from consecutive batches by updating an ensemble in each time. It tries to strike a balance between performance of the system and amount of data which needs to be labelled. As no restriction is considered, the system can address many practical problems in an evolving multi-camera scenario, such as concept drift, class evolution and various length of video streams which have not been addressed before. Experiments were performed on synthetic as well as real-world visual data in non-stationary environments, showing high accuracy with fairly little human collaboration.

研究动机与目标

• 解决多摄像头视频监控中因标注数据稀缺且获取成本高昂而带来的高标注成本挑战。
• 开发一种鲁棒的增量学习框架，能够适应非平稳视觉环境中概念漂移和类别演化的问题。
• 在具有不同长度和重叠视场的并行视频流中，最小化人工标注工作量的同时保持高分类准确率。
• 实现在无需对摄像头重叠性做任何假设的前提下持续学习，支持重叠与非重叠摄像头配置。
• 在真实与合成的监控数据中，评估不同分类器组合、选择策略与融合规则的有效性。

提出的方法

• 该框架名为 NEVIL，采用半监督增量学习方法，以批次方式处理视频流，并随时间更新分类器集成。
• 采用主动学习策略选择最具信息量的实例进行人工标注，从而在保持性能的同时减少标注工作量。
• 使用多种信息度量方法（如改进的边际和改进的最自信度）指导人工查询，优先选择不确定或多样化的样本。
• 通过融合规则（包括求和规则、乘积规则和几何平均）组合分类器输出，并基于置信度与多样性动态选择最优融合方式。
• 通过在多个视频流中跟踪物体外观并进行时间对齐，实现跨摄像头的全局物体身份保持。
• 框架使用具有受控概念漂移的合成数据和具有复杂、高维视觉特征的真实 CAVIAR 序列进行评估。

实验结果

研究问题

• RQ1 如何有效将主动学习应用于具有概念漂移和类别演化的多摄像头视频流？
• RQ2 哪种基础分类器组合、融合规则与信息度量方法能够在最小化人工标注的前提下实现最高准确率？
• RQ3 生成模型与判别模型在低维干净数据与高维噪声真实世界视频流中的性能表现有何差异？
• RQ4 是否能够设计一个统一框架，在无需预先假设空间配置的前提下同时处理重叠与非重叠摄像头视图？
• RQ5 在长期连续的视频监控中，标注成本与分类准确率之间的最优权衡是什么？

主要发现

• 在合成数据集上，NEVIL 实现超过 90% 的准确率，标注成本低于 15%，显著优于被动学习和基线主动学习方法。
• 在真实 CAVIAR 序列上，NEVIL 实现超过 80% 的准确率，标注成本低于 30%，展现出对真实世界数据中噪声与复杂性的强鲁棒性。
• 在低维、干净的合成数据中，生成模型（如朴素贝叶斯）优于判别模型，凸显其在低噪声环境下的灵活性。
• 在高维、噪声较大的真实世界数据中，SVM 和逻辑回归等判别模型优于生成模型，可能是因为其在似然估计中对局部极大值的更好处理能力。
• 在真实数据上，算术平均（SUM）融合与改进边际（MM）选择标准的组合表现最佳；而在合成数据上，几何平均与改进最自信度表现最优。
• 该框架在无需预先假设摄像头重叠性的情况下，成功应对了概念漂移与类别演化，适用于多样化的监控配置。