[论文解读] A Computer Vision System for Attention Mapping in SLAM based 3D Models

Lucas Paletta, Katrin Santner+5 more|arXiv (Cornell University)|May 6, 2013

Robotics and Sensor-Based Localization参考文献 20被引用 6

一句话总结

本文提出了一套实时计算机视觉系统，利用RGB-D传感器在SLAM生成的3D环境中实现3D视线追踪与注意力映射。通过结合RGB-D SLAM与描述符匹配，系统可直接在自动重建的3D模型中实现视线方向、视锥范围及感兴趣区域（ROI）标注的完整3D恢复，从而实现实时环境中的人因工程自动化分析。

ABSTRACT

The study of human factors in the frame of interaction studies has been relevant for usability engi-neering and ergonomics for decades. Today, with the advent of wearable eye-tracking and Google glasses, monitoring of human factors will soon become ubiquitous. This work describes a computer vision system that enables pervasive mapping and monitoring of human attention. The key contribu-tion is that our methodology enables full 3D recovery of the gaze pointer, human view frustum and associated human centred measurements directly into an automatically computed 3D model in real-time. We apply RGB-D SLAM and descriptor matching methodologies for the 3D modelling, locali-zation and fully automated annotation of ROIs (regions of interest) within the acquired 3D model. This innovative methodology will open new avenues for attention studies in real world environments, bringing new potential into automated processing for human factors technologies.

研究动机与目标

• 通过可穿戴眼动追踪与RGB-D传感器，在自然环境中实现实时、具备3D感知能力的注意力映射。
• 解决人因研究中真实环境中缺乏集成3D视线追踪与空间标注的问题。
• 利用计算机视觉技术自动检测并标注3D模型中的感兴趣区域（ROIs）。
• 将视线数据与基于SLAM的3D重建集成，实现精确、以人为本的空间测量。

提出的方法

• 系统使用RGB-D SLAM生成环境的密集、实时3D重建。
• 通过标定的眼相机几何关系，将单目眼动追踪数据估算的视线方向投影至3D空间。
• 应用描述符匹配（如SIFT或类似方法），将眼动追踪场景与3D模型之间的视觉特征进行匹配，以实现定位。
• 基于视线密度与注视模式，自动检测并标注3D模型中的感兴趣区域（ROIs）。
• 系统在3D空间中计算人类视锥范围，支持视觉注意力的空间分析。
• 所有处理均在实时完成，支持在动态真实环境中持续监控注意力。

实验结果

研究问题

• RQ1 如何将视线数据准确映射至SLAM重建的3D环境中，以支持空间注意力分析？
• RQ2 哪些技术能够实现实时、全自动的ROIs标注，结合眼动追踪与视觉特征？
• RQ3 能否从可穿戴眼动追踪与RGB-D数据中恢复出3D空间中的视线方向与视锥范围？
• RQ4 如何在3D场景中对注意力模式进行定量测量与可视化，以支持人因评估？
• RQ5 将视线追踪与SLAM集成以实现在非结构化环境中自动化、实时注意力映射的可行性如何？

主要发现

• 系统成功实现了在SLAM生成的3D模型中实时恢复视线方向与视锥范围。
• 通过描述符匹配与视线模式聚类，实现了自动ROIs检测与标注。
• 该方法支持在3D环境中直接实现全自动、以人为本的空间测量。
• 眼动追踪与RGB-D SLAM的集成，使得在真实环境中实现持续、上下文感知的注意力映射成为可能。
• 该方法为自动化人因分析开辟了新应用，尤其在可用性工程与人体工程学领域。
• 系统在自然、动态环境中具备实现普适性注意力监测的可行性。