[论文解读] Egocentric Video Biometrics.

Yedid Hoshen, Bezalel Peleg|arXiv (Cornell University)|Nov 27, 2014

Face recognition and analysis参考文献 32被引用 8

一句话总结

该论文表明，即使未捕捉到面部或全身影像，GoPro 或 Google Glass 等头戴式摄像头拍摄的自拍视角视频，也可通过运动特征实现生物特征识别。通过在粗略光流上训练卷积神经网络（CNN），该系统仅需几秒钟视频即可实现可靠的用户识别，从而挑战了公众视频共享中佩戴者匿名性的假设。

ABSTRACT

Egocentric cameras are being worn by an increasing number of users, among them many security forces world-wide. GoPro cameras already penetrated the mass market, and Google Glass may follow soon. As head-worn cam-eras do not capture the face and body of the wearer, it may seem that the anonymity of the wearer can be preserved even when the video is publicly distributed. We show that motion features in egocentric video pro-vide biometric information, and the identity of the user can be determined quite reliably from a few seconds of video. Biometrics are extracted by training Convolutional Neural Network (CNN) architectures on coarse optical flow. Egocentric video biometrics can prevent theft of wear-able cameras by locking the camera when worn by people other than the owner. In video sharing services, this Bio-metric measure can help to locate automatically all videos shot by the same user. An important message in this paper is that people should be aware that sharing egocentric video will compromise their anonymity. 1.

研究动机与目标

• 探究在缺乏面部或完整身体视觉数据的情况下，自拍视角视频是否仍可作为生物特征标识符。
• 解决公众共享自拍视角视频可能损害用户匿名性的隐私问题。
• 开发一种自动检测并锁定可穿戴摄像头的方法，以防止未经授权使用。
• 实现在视频分享平台中自动聚类同一用户拍摄的视频。
• 证明自拍视角视频中的运动模式包含足够区分性的特征，可用于身份识别。

提出的方法

• 在自拍视角视频序列中提取的粗略光流表示上训练卷积神经网络（CNN）。
• 将视频流中的运动模式作为主要生物特征信号，利用个体在日常活动中头部运动的独特方式。
• 从短时间视频片段（几秒钟）中提取时间运动特征，以实现实时或近实时识别。
• 应用深度学习技术，学习与个体身份相关的区分性运动特征。
• 设计一种无需依赖面部识别或身体姿态估计的系统。
• 在多个用户在不同条件下采集的自拍视角视频数据集上验证该方法。

实验结果

研究问题

• RQ1 在缺乏面部或完整身体可见性的情况下，自拍视角视频中的运动特征是否可可靠识别佩戴者？
• RQ2 自拍视角视频生物特征识别的性能在多大程度上依赖于短时间视频片段（如 3–5 秒）的运动信息？
• RQ3 基于粗略光流训练的 CNN 模型在区分不同用户方面效果如何？
• RQ4 该生物特征方法对用户隐私和公共分享可穿戴摄像头视频中匿名性有何影响？
• RQ5 该方法是否可用于在非所有者佩戴时锁定可穿戴摄像头？

主要发现

• 即使无面部或身体数据，自拍视角视频仍包含足够多的基于运动的生物特征信息，可高可靠度识别佩戴者。
• 仅需几秒钟（3–5 秒）的自拍视角视频，结合在粗略光流上训练的 CNN，即可实现准确的用户识别。
• 所提出的方法仅基于头部运动模式成功识别个体，证明自拍视角视频中的匿名性并非必然成立。
• 该系统可在非所有者佩戴时锁定可穿戴摄像头，实现访问控制。
• 视频分享平台可利用此生物特征方法自动分组并定位同一用户拍摄的所有视频。
• 研究结果凸显了关键隐私风险：公开分享的自拍视角视频可能无意中暴露佩戴者的身份。