[论文解读] ARGUS: Visualization of AI-Assisted Task Guidance in AR

Sonia Castelo, João Rulff+16 more|arXiv (Cornell University)|Aug 11, 2023

Augmented Reality ApplicationsComputer Science被引用 3

一句话总结

ARGUS 是一个视觉分析系统，支持在增强现实（AR）辅助任务引导中对多模态传感器数据和人工智能（AI）模型输出进行实时与回溯分析。它通过提供对象、动作和步骤检测、注视追踪以及模型置信度在复杂AR会话中的交互式三维与时间可视化，帮助开发者调试、改进和微调AI助手。

ABSTRACT

The concept of augmented reality (AR) assistants has captured the human imagination for decades, becoming a staple of modern science fiction. To pursue this goal, it is necessary to develop artificial intelligence (AI)-based methods that simultaneously perceive the 3D environment, reason about physical tasks, and model the performer, all in real-time. Within this framework, a wide variety of sensors are needed to generate data across different modalities, such as audio, video, depth, speech, and time-of-flight. The required sensors are typically part of the AR headset, providing performer sensing and interaction through visual, audio, and haptic feedback. AI assistants not only record the performer as they perform activities, but also require machine learning (ML) models to understand and assist the performer as they interact with the physical world. Therefore, developing such assistants is a challenging task. We propose ARGUS, a visual analytics system to support the development of intelligent AR assistants. Our system was designed as part of a multi year-long collaboration between visualization researchers and ML and AR experts. This co-design process has led to advances in the visualization of ML in AR. Our system allows for online visualization of object, action, and step detection as well as offline analysis of previously recorded AR sessions. It visualizes not only the multimodal sensor data streams but also the output of the ML models. This allows developers to gain insights into the performer activities as well as the ML models, helping them troubleshoot, improve, and fine tune the components of the AR assistant.

研究动机与目标

• 解决开发可靠、实时AI辅助AR助手的挑战，这些助手能够感知环境、推理任务并适应用户行为。
• 通过可视化复杂、多模态的传感器与模型输出数据，支持机器学习（ML）和AR开发者对AR任务引导中使用的AI模型进行故障排除与改进。
• 支持对AR会话的回溯分析，以理解模型行为、执行者动作和注意力模式随时间的变化。
• 通过提供可扩展的交互式可视化，将模型预测置于空间和时间维度中，减轻机器学习工程师的认知负担。
• 通过整合可视化、机器学习和AR研究社区的洞见，支持AR助手的协同设计。

提出的方法

• ARGUS 集成AR头戴设备产生的多模态数据流的实时与离线可视化，包括视频、深度、注视、音频和飞行时间传感器数据。
• 该系统提供三维空间视图，将执行者注视投影和物体检测结果叠加到重建的世界点云上。
• 时间与空间可视化控件使用户能够探索整个会话中的模型输出，如物体和动作检测、步骤检测及置信度分数。
• 系统支持在不同粒度下选择性可视化模型输出和传感器数据，使用户能够结合底层视频帧检查预测结果。
• 它包含用于识别和排除噪声数据（如点云中的手部伪影）的工具，通过手动定义边界框实现，并计划未来集成自动化去噪功能。
• ARGUS 支持数据和模型输出的标注，未来计划扩展以支持多执行者会话对比分析和隐私保护型数据处理。

实验结果

研究问题

• RQ1 视觉分析工具如何支持开发者理解并调试实时AR任务引导系统中的AI模型？
• RQ2 哪些可视化技术最能有效探索AR中执行者动作、传感器数据与模型输出之间的时空关系？
• RQ3 交互式三维与时间可视化如何提升对AR任务执行过程中模型置信度、预测错误和注意力模式的洞察？
• RQ4 上下文相关的多模态数据集成在实现有效模型优化与系统改进中发挥何种作用？
• RQ5 像ARGUS这样的视觉分析系统如何在可视化、机器学习与AR研究领域之间支持AR助手的协同设计？

主要发现

• ARGUS 通过在空间和时间上下文中可视化物体和动作检测输出，使开发者能够识别并解决模型预测错误，例如发现‘盘子’仅在任务后期才被识别。
• 该系统揭示了注视热点图能有效突出执行者的注意力模式，如对食谱的最终聚焦，有助于理解任务参与度与模型对齐情况。
• 对模型置信度分数的交互式可视化帮助机器学习工程师诊断特定条件下性能不足的问题，从而指导数据增强与模型重训练策略。
• 三维空间可视化与时间追踪的整合，使用户更好地理解模型预测如何随视角和环境上下文变化。
• 该系统通过提供可扩展的交互式界面替代终端日志记录和视频叠加技术，显著减轻了机器学习工程师的工作负担。
• 来自协同设计过程的用户反馈表明，ARGUS 提升了模型的可解释性，并加快了AR助手开发的迭代周期。