[论文解读] An Integrated System for 3D Gaze Recovery and Semantic Analysis of Human Attention

Lucas Paletta, Katrin Santner+1 more|arXiv (Cornell University)|Jul 30, 2013

Robotics and Sensor-Based Localization参考文献 8被引用 4

一句话总结

本文提出了一种集成计算机视觉系统，利用RGB-D SLAM和描述符匹配技术，实现实时三维注视追踪与人类注意力的语义分析。该系统可构建环境的自动三维模型，定位用户在其中的位置，并使用注视数据对感兴趣区域（ROIs）进行标注，从而实现实时现实环境中人类注意力的完整三维映射。

ABSTRACT

This work describes a computer vision system that enables pervasive mapping and monitoring of human attention. The key contribution is that our methodology enables full 3D recovery of the gaze pointer, human view frustum and associated human centered measurements directly into an automatically computed 3D model in real-time. We apply RGB-D SLAM and descriptor matching methodologies for the 3D modeling, localization and fully automated annotation of ROIs (regions of interest) within the acquired 3D model. This innovative methodology will open new avenues for attention studies in real world environments, bringing new potential into automated processing for human factors technologies.

研究动机与目标

• 实现在自然、非结构化环境中无处不在的实时人类注意力监测。
• 实时恢复用户的完整三维注视指向和视场范围。
• 生成自动计算的环境三维模型，并对感兴趣区域（ROIs）进行语义标注。
• 将注视数据与三维场景几何结构集成，用于以人为中心的测量与注意力分析。
• 通过真实世界中的三维注意力映射，支持人因工程与注意力研究的自动化处理。

提出的方法

• 系统使用RGB-D SLAM实时构建环境的密集三维重建。
• 采用描述符匹配技术实现用户在三维模型中的精确定位。
• 利用单目或双目摄像头数据结合头部姿态估计来估算注视方向。
• 通过视觉描述符和空间聚类技术，自动检测并标注三维模型中的感兴趣区域（ROIs）。
• 通过语义分析将注视数据与标注的ROIs关联，实现在三维空间中的注意力映射。
• 整个处理流程实时运行，支持人类注意力的持续监测。

实验结果

研究问题

• RQ1 在动态、真实世界环境中，如何实现三维注视方向的实时精确恢复？
• RQ2 RGB-D SLAM与描述符匹配能否实现鲁棒的三维场景重建与用户定位，以支持注意力追踪？
• RQ3 如何在无需人工输入的情况下，自动检测并标注三维模型中的感兴趣区域（ROIs）？
• RQ4 语义分析与三维场景几何结构的集成程度如何，才能实现有意义的注意力映射？
• RQ5 该系统能否在非受限环境中支持自动化、实时的人类注意力监测？

主要发现

• 通过结合RGB-D SLAM与头部姿态及注视估计，系统实现了实时三维注视恢复。
• 通过描述符匹配与空间聚类技术，实现了自动三维建模与ROI标注，消除了人工标注的需要。
• 系统能够在自动生成的三维环境模型中，实现对人类视场范围和注视指向的完整三维映射。
• 通过将注视数据与三维场景中标注的ROIs关联，实现了注意力的语义分析。
• 将三维注视追踪与语义场景理解相结合，为真实环境中自动化注意力研究开辟了新可能。
• 该方法通过实现在非受限环境中自动化、实时的人类注意力监测，支持人因工程应用。