[论文解读] Long-Term Identity-Aware Multi-Person Tracking for Surveillance Video Summarization

Shoou-I Yu, Yi Yang+2 more|arXiv (Cornell University)|Apr 25, 2016

Video Surveillance and Tracking Methods参考文献 50被引用 9

一句话总结

本文提出一种面向长期监控视频的、具备身份感知能力的多人跟踪系统，利用人脸识别实现鲁棒的重新初始化，并通过流形学习在无人脸检测的帧中传播身份信息。在包含4,935小时、15个摄像头的养老院数据集上进行评估，实现了53.2%的定位准确率和69.8%的精确率，支持将视频有效总结为视觉日记，精确率为38%，召回率为52%。

ABSTRACT

Multi-person tracking plays a critical role in the analysis of surveillance video. However, most existing work focus on shorter-term (e.g. minute-long or hour-long) video sequences. Therefore, we propose a multi-person tracking algorithm for very long-term (e.g. month-long) multi-camera surveillance scenarios. Long-term tracking is challenging because 1) the apparel/appearance of the same person will vary greatly over multiple days and 2) a person will leave and re-enter the scene numerous times. To tackle these challenges, we leverage face recognition information, which is robust to apparel change, to automatically reinitialize our tracker over multiple days of recordings. Unfortunately, recognized faces are unavailable oftentimes. Therefore, our tracker propagates identity information to frames without recognized faces by uncovering the appearance and spatial manifold formed by person detections. We tested our algorithm on a 23-day 15-camera data set (4,935 hours total), and we were able to localize a person 53.2% of the time with 69.8% precision. We further performed video summarization experiments based on our tracking output. Results on 116.25 hours of video showed that we were able to generate a reasonable visual diary (i.e. a summary of what a person did) for different people, thus potentially opening the door to automatic summarization of the vast amount of surveillance video generated every day.

研究动机与目标

• 为解决在长达数天的监控视频中因外观变化和重复进入而导致的长期多人跟踪挑战。
• 利用人脸识别作为稀疏身份标签，实现在长时间跨度内的自动跟踪器重新初始化。
• 通过外观和时空流形学习，将身份标签传播至无面部检测的帧中。
• 实现自动将视频总结为个性化视觉日记，用于长期监控中的个体活动分析。
• 为复杂室内环境中长期多目标跟踪提供大规模真实世界基准数据集。

提出的方法

• 跟踪器采用基于检测的跟踪框架，并将人脸识别作为稀疏身份标签。
• 身份传播建模为一个约束二次优化问题，采用非负矩阵分解以保持外观和时空一致性。
• 约束条件包括互斥性（每条轨迹对应一个检测）和空间局部性，以确保合理的跟踪分配。
• 该方法学习人体检测的低秩流形，以在缺乏人脸识别的帧中推断身份。
• 利用人脸识别在长时间间隔或跟踪失败后重新初始化轨迹，提升了长达数月序列的鲁棒性。
• 通过从跟踪轨迹中提取活动片段（如就坐、社交互动）并与其真实标签进行比较，生成视觉日记。

实验结果

研究问题

• RQ1 人脸识别能否在极长时长（长达一个月）的监控视频中有效用于多人跟踪器的重新初始化？
• RQ2 在人脸识别不可用的帧中，如何可靠地传播身份信息？
• RQ3 基于外观和时空布局的流形学习在多大程度上提升了长期跟踪性能？
• RQ4 能否利用跟踪输出生成有意义的、面向个体的视频摘要（视觉日记），用于真实世界监控数据？
• RQ5 在片段生成和时间估计方面，跟踪准确率与视频摘要质量之间存在何种相关性？

主要发现

• 在4,935小时、15个摄像头的室内监控数据集中，该跟踪器在53.2%的帧中成功定位个体，精确率达到69.8%。
• 人脸识别准确率提高20%时，跟踪F1分数相应提升约10%，凸显人脸识别在系统中的关键作用。
• 视觉日记生成在片段生成任务中达到38.2%的微平均精确率和52.2%的微平均召回率，表明在捕捉关键活动方面具有合理准确性。
• 房间与状态的时间估计达到80.9%的精确率和51.1%的召回率，显示出对位置和姿态跟踪的中等准确度。
• 交互时间估计性能最低（F1为31.1%），主要由于交互双方的跟踪失败所导致。
• 二次多项式拟合显示，跟踪F1与片段生成F1之间存在显著正相关，证实跟踪质量直接影响摘要质量。