[论文解读] Ego2Top: Matching Viewers in Egocentric and Top-view Videos

Shervin Ardeshir, Ali Borji|arXiv (Cornell University)|Jul 24, 2016

Video Analysis and Summarization参考文献 18被引用 11

一句话总结

本文提出Ego2Top，一种光谱图匹配框架，通过建模视觉内容变化和跨视角关系，将第一视角视频记录与俯视监控画面中的对应个体关联起来。通过结合单值特征（Gist和Top-FOV）与成对特征（时间视觉关系），该方法在匹配第一视角观察者与俯视角视频中的身份时实现了高精度，其性能优于基线方法，得益于图结构与时间动态的利用。

ABSTRACT

Egocentric cameras are becoming increasingly popular and provide us with large amounts of videos, captured from the first person perspective. At the same time, surveillance cameras and drones offer an abundance of visual information, often captured from top-view. Although these two sources of information have been separately studied in the past, they have not been collectively studied and related. Having a set of egocentric cameras and a top-view camera capturing the same area, we propose a framework to identify the egocentric viewers in the top-view video. We utilize two types of features for our assignment procedure. Unary features encode what a viewer (seen from top-view or recording an egocentric video) visually experiences over time. Pairwise features encode the relationship between the visual content of a pair of viewers. Modeling each view (egocentric or top) by a graph, the assignment process is formulated as spectral graph matching. Evaluating our method over a dataset of 50 top-view and 188 egocentric videos taken in different scenarios demonstrates the efficiency of the proposed approach in assigning egocentric viewers to identities present in top-view camera. We also study the effect of different parameters such as the number of egocentric viewers and visual features.

研究动机与目标

• 为解决第一视角与俯视角视频之间缺乏跨视角对应关系的问题，尽管二者在监控与活动分析中具有互补性。
• 在无直接外观线索的情况下，识别第一视角摄像机佩戴者对应于俯视角摄像头中可见的哪个人。
• 开发一种鲁棒框架，利用视觉内容与时间关系推断不同摄像机视角下的观察者身份。
• 评估单值特征与成对特征在不同第一视角摄像机数量下的匹配精度提升效果。

提出的方法

• 将每个第一视角视频和俯视角观察者表示为图中的节点，使用单值特征（Gist与Top-FOV描述符）编码其视觉内容。
• 通过其第一视角视频内容中的时间视觉相似性，建模观察者之间的成对关系，形成图中的边。
• 通过基于单值与成对特征的相似性矩阵，将匹配问题形式化为光谱图匹配。
• 使用谱松弛计算第一视角与俯视角图之间的软分配，随后通过匈牙利算法进行二分图匹配以获得硬分配。
• 从轨迹估计观察者朝向与Top-FOV（俯视角视场），以对齐第一视角视图与俯视角内容。
• 应用多目标跟踪提取俯视角轨迹，并将其用作Top-FOV估计与特征计算的输入。

实验结果

研究问题

• RQ1 在不依赖外观线索的情况下，能否有效将第一视角视频内容与俯视角监控视频中的身份进行匹配？
• RQ2 单值视觉特征（如Gist、Top-FOV）与观察者之间的成对关系如何共同提升匹配精度？
• RQ3 可用的第一视角视频数量对观察者匹配性能有何影响？
• RQ4 结合单值与成对特征的光谱图匹配是否能优于仅使用单值特征或随机分配的基线方法？
• RQ5 第一视角视频的完整度比率（n_Ego / n_Top）如何影响分配与排序精度？

主要发现

• 在光谱图匹配中同时使用单值与成对特征的所提方法（GM）显著优于基线方法，其分配精度高于随机分配或仅使用单值特征的匹配方法。
• 图匹配得分可作为排序俯视角视频与观察者的有意义标准，图7(a)中的红色曲线显示其累积匹配精度优于仅使用单值特征的方法。
• 随着完整度比率（n_Ego / n_Top）提高，硬分配精度持续上升，表明更多第一视角视频可增强图结构并提升匹配可靠性。
• 成对特征对精度贡献显著，如图7(c)所示，GM方法在所有情况下均持续优于仅使用单值特征的基线方法（H与G-F）。
• 该方法在多样化场景下成功识别了俯视角视频中的第一视角观察者，基于50段俯视角视频与188段第一视角视频的评估验证了其鲁棒性与可扩展性。