[论文解读] Ego-Downward and Ambient Video based Person Location Association

Liang Yang, Hao Jiang+2 more|arXiv (Cornell University)|Dec 2, 2018

Video Surveillance and Tracking Methods参考文献 28被引用 4

一句话总结

该论文提出了一种基于动作和运动特征的新型模型，用于利用第一人称向下视角和第三人称静态摄像头视角进行跨视角行人定位与跟踪。通过利用3D姿态估计和时空对齐，该方法相比基线模型实现了18.32%的准确率提升，在多人场景下达到74.22%的验证准确率和67.767%的平均准确率，展现出对遮挡和相似外观的鲁棒性。

ABSTRACT

Using an ego-centric camera to do localization and tracking is highly needed for urban navigation and indoor assistive system when GPS is not available or not accurate enough. The traditional hand-designed feature tracking and estimation approach would fail without visible features. Recently, there are several works exploring to use context features to do localization. However, all of these suffer severe accuracy loss if given no visual context information. To provide a possible solution to this problem, this paper proposes a camera system with both ego-downward and third-static view to perform localization and tracking in a learning approach. Besides, we also proposed a novel action and motion verification model for cross-view verification and localization. We performed comparative experiments based on our collected dataset which considers the same dressing, gender, and background diversity. Results indicate that the proposed model can achieve $18.32 \%$ improvement in accuracy performance. Eventually, we tested the model on multi-people scenarios and obtained an average $67.767 \%$ accuracy.

研究动机与目标

• 解决在GPS信号缺失的环境（如室内或城市区域）中行人定位与跟踪的挑战，此类环境中视觉特征有限。
• 通过利用运动和动作线索，克服传统基于特征的跟踪方法在低纹理或遮挡环境中失效的问题。
• 提升第一人称向下视角与第三人称静态摄像头之间的跨视角验证性能，此类任务因视场受限和姿态差异而具有固有挑战性。
• 开发一种鲁棒的、基于学习的系统，能够在真实世界环境中泛化于多样的外观、背景和运动模式。

提出的方法

• 使用基于YOLO的跟踪器，在第一人称向下视角和第三人称视角的视频序列中持续保持行人检测。
• 对第一人称和第三人称数据均进行3D人体姿态估计，以实现空间对齐和运动建模。
• 设计一种联合的时间-空间孪生网络，学习用于跨视角验证的动作与运动特征，以姿态和运动作为关键信号。
• 通过多模态特征融合，将第一人称视角的运动与平移特征与第三人称视角的航位推算（odometry）信息相结合，以提升定位准确率。
• 应用带有速度预测的贝叶斯滤波器，以优化验证输出，尤其在多人和交叉场景中表现更优。
• 系统在线处理短时视频片段，通过利用多视角间的几何一致性和运动一致性，实现实时推理。

实验结果

研究问题

• RQ1 当因服装相似或遮挡导致视觉外观不可靠时，仅依靠动作和运动特征是否能够实现准确的跨视角行人定位？
• RQ2 3D姿态估计的引入如何改善第一人称向下视角与第三人称摄像头视角之间的对齐与验证？
• RQ3 第一人称视角运动特征与第三人称视角航位推算（odometry）特征在提升定位准确率方面各自贡献如何？
• RQ4 在多人交互和身体姿态相似等复杂条件下，该模型表现如何？
• RQ5 该方法是否能够在不依赖视觉上下文的情况下，泛化于多样的背景、服装和运动模式？

主要发现

• 所提出的ETVVT模型实现了74.22%的验证准确率，相比基线模型提升了18.32%。
• 动作模型的准确率（72.5%）高于运动模型（70.03%），表明基于姿态的动作识别比仅依赖运动特征更具判别力。
• 第三人称视角的平移特征将验证准确率从79.05%提升至81.80%，表明第三人称视角的运动线索比第一人称视角的航位推算更可靠。
• 在多人场景中，模型实现了67.767%的平均准确率，非交叉场景下表现更优，而群体交叉场景因部分遮挡导致准确率下降。
• 贝叶斯滤波器在低复杂度场景中显著提升性能，在两人非交叉场景下准确率最高可达96.17%。
• 当多人具有完全相同动作和外观时，模型失效，凸显了在区分完全相同的运动模式方面存在局限性。