[论文解读] A Survey on Recent Advances of Computer Vision Algorithms for Egocentric Video

Sven Bambach|arXiv (Cornell University)|Jan 12, 2015

Advanced Image and Video Retrieval Techniques参考文献 34被引用 16

一句话总结

本综述全面概述了在第一人称视频中计算机视觉技术的进展，重点关注物体识别、活动检测和生活记录视频摘要。它评估了利用第一人称特定线索（如物体居中、光流用于前景分割以及手部/物体交互）的方法，结果表明，基于物体的方法在识别和摘要性能方面显著优于传统第三人称方法。

ABSTRACT

Recent technological advances have made lightweight, head mounted cameras both practical and affordable and products like Google Glass show first approaches to introduce the idea of egocentric (first-person) video to the mainstream. Interestingly, the computer vision community has only recently started to explore this new domain of egocentric vision, where research can roughly be categorized into three areas: Object recognition, activity detection/recognition, video summarization. In this paper, we try to give a broad overview about the different problems that have been addressed and collect and compare evaluation results. Moreover, along with the emergence of this new domain came the introduction of numerous new and versatile benchmark datasets, which we summarize and compare as well.

研究动机与目标

• 提供近期第一人称视频计算机视觉研究的广泛、系统性概述，该领域是新兴领域，具有独特的挑战与机遇。
• 对三个关键领域（物体识别、活动/动作检测、生活记录视频摘要）的现有工作进行分类与比较。
• 分析并比较这些领域中各类算法的性能，突出第一人称特定因素（如物体居中和运动模式）的影响。
• 总结并比较该领域中日益增多的基准数据集，强调其多样性与对未来研究的实用性。
• 识别趋势与开放性挑战，例如缺乏标准化基准以及弱监督或手工设计特征方法的主导地位。

提出的方法

• 本文对第一人称视频中计算机视觉研究进行了结构化文献综述，将研究分为三大类：物体识别、活动检测和生活记录摘要。
• 评估了SIFT和SVM等标准识别系统在第一人称数据集上的性能，利用真实标注分割和受控模拟来评估遮挡和杂乱等挑战的影响。
• 分析基于运动的前景分割方法，利用光流和空间先验（如位置先验和运动先验），以从背景噪声中分离出被操作的物体。
• 比较弱监督与强监督方法在活动识别中的表现，包括基于物体共现、状态变化和视线整合的方法。
• 评估长时长第一人称视频中的关键帧选择与摘要技术，强调利用交互物体和人物作为显著性线索。
• 对公开可用的基准数据集进行详细比较，评估其覆盖范围、标注质量及对不同任务的适用性。

实验结果

研究问题

• RQ1 第一人称视频的特性（如相机运动、物体居中和频繁遮挡）如何影响标准计算机视觉算法的性能？
• RQ2 光流和运动先验在多大程度上能提升第一人称视频中的前景分割和后续物体识别性能？
• RQ3 以物体为中心的方法与基于身体运动的方法在识别第一人称动作和活动方面有何比较优势？
• RQ4 哪些特征在摘要长时长第一人称生活记录视频方面最为有效，它们与第三人称视频摘要技术有何不同？
• RQ5 第一人称视频基准数据集开发中的关键挑战与趋势是什么，它们如何影响研究的可复现性与可比性？

主要发现

• 使用标准SIFT和SVM方法在第一人称视频中进行物体识别，识别率达到12%，显著高于随机概率（2.4%），但在真实世界挑战（如遮挡和杂乱）下性能显著下降。
• 模拟遮挡和背景杂乱使识别准确率从干净条件下的上限63.7%降至30.3%，凸显了第一人称特定视觉退化的重要影响。
• 基于运动和位置的先验显著提升了前景分割性能，通过从动态背景中分离出被操作的物体，从而改善了物体识别。
• 基于光流的分割在第一人称视频中优于通用视频分割方法，原因在于手部和靠近镜头中心的物体具有可预测的运动模式。
• 物体共现和状态变化是识别复杂活动（如三明治制作）的有效弱监督线索，优于仅依赖外观或运动的方法。
• 基于交互物体和人物的关键帧选择，相比标准方法，能生成更具代表性与意义的摘要，尤其在连续、长时长的第一人称视频流中表现更优。