[论文解读] Identifying First-person Camera Wearers in Third-person Videos

Chenyou Fan, Jangwon Lee+5 more|arXiv (Cornell University)|Apr 20, 2017

Human Pose and Action Recognition参考文献 18被引用 5

一句话总结

该论文提出了一种带有三重损失的半Siamese双流CNN，通过学习融合空间与运动线索的联合嵌入空间，实现从第三人称视频中匹配第一人称摄像头佩戴者。该方法在具有挑战性的基准上取得了SOTA性能，多路分类准确率达到69.3%，显著优于基线方法，通过联合优化特征与距离度量实现跨视角匹配。

ABSTRACT

We consider scenarios in which we wish to perform joint scene understanding, object tracking, activity recognition, and other tasks in environments in which multiple people are wearing body-worn cameras while a third-person static camera also captures the scene. To do this, we need to establish person-level correspondences across first- and third-person videos, which is challenging because the camera wearer is not visible from his/her own egocentric video, preventing the use of direct feature matching. In this paper, we propose a new semi-Siamese Convolutional Neural Network architecture to address this novel challenge. We formulate the problem as learning a joint embedding space for first- and third-person videos that considers both spatial- and motion-domain cues. A new triplet loss function is designed to minimize the distance between correct first- and third-person matches while maximizing the distance between incorrect ones. This end-to-end approach performs significantly better than several baselines, in part by learning the first- and third-person features optimized for matching jointly with the distance measure itself.

研究动机与目标

• 为解决在第三人称视频中识别哪位人物佩戴第一人称摄像头的挑战，该任务因佩戴者在自身第一人称视角中不可见而变得复杂。
• 实现在动态多人群环境中的第一人称与第三人称视频流之间联合场景理解、目标跟踪与活动识别。
• 通过利用运动、场景上下文与身体动作等间接线索，克服第一人称与第三人称视角之间缺乏直接视觉对应关系的问题。
• 开发一种鲁棒的端到端学习框架，联合优化特征提取与距离度量学习，以实现跨视角匹配。

提出的方法

• 提出一种半Siamese CNN架构，为第一人称与第三人称视频分别学习独立的专用特征提取器，支持领域特定的表征学习。
• 采用双流CNN设计，平行处理空间外观与运动（光流）特征，以捕捉视觉与动态线索。
• 采用一种新颖的三重损失函数，最小化正样本第一人称与第三人称视频对之间的距离，同时最大化负样本对之间的距离，显式学习一个为匹配任务优化的度量空间。
• 端到端训练模型，联合优化特征学习与距离度量学习，从而实现优于单独优化特征与度量方法的泛化能力。
• 在第三人称视频中使用短时人物轨迹（最少仅一帧）来估计潜在匹配，使该方法适用于拥挤或动态场景。
• 评估多种变体，包括Siamese、双流与基于三重损失的架构，以消融分析各组件对性能的贡献。

实验结果

研究问题

• RQ1 深度学习模型能否有效学习一个联合嵌入空间，即使在缺乏视觉重叠的情况下，也能实现第一人称视频与对应摄像头佩戴者在第三人称视频中的准确匹配？
• RQ2 空间与运动线索在自指与第三人称视频流中的跨视角人物匹配性能中分别起到何种作用？
• RQ3 半Siamese架构（允许每种模态独立进行特征学习）在此任务中是否优于完全共享的Siamese或非Siamese架构？
• RQ4 与标准对比损失相比，显式强制正负样本对之间边际最大化的三重损失函数在多大程度上提升了匹配准确率？
• RQ5 在相似运动模式或遮挡等失败案例中，该方法的鲁棒性如何？其主要失败模式是什么？

主要发现

• 所提出的半Siamese双流CNN结合三重损失在主要评估基准上实现了69.3%的多路分类准确率，显著优于次佳基线方法（63.9%）。
• 该方法实现了0.621的平均精度，表明其在将正确匹配排在错误匹配之前方面表现强劲。
• 采用第一人称与第三人称视频独立流处理的半Siamese设计，性能优于完全共享的Siamese网络，表明模态特定特征学习具有优势。
• 三重损失通过显式最大化正负样本对之间的边际，提升了匹配性能，生成更具判别性的嵌入表示。
• 在多台可穿戴摄像头的实验中，该方法实现了50.0%的多路分类准确率，优于仅依赖时间对齐的基线方法（如HOOF为36.5%，光流幅值为44.2%）。
• 失败案例主要源于相似运动模式（如点头与坐下）或第三人称视角中摄像头佩戴者被遮挡，凸显了基于运动匹配的挑战。