[论文解读] Augmented Reality for Maintenance Tasks with ChatGPT for Automated Text-to-Action

Fang Xu, Tri Nguyen+1 more|arXiv (Cornell University)|Jul 7, 2023

Augmented Reality ApplicationsComputer Science被引用 3

一句话总结

本文提出了一种集成GPT与OCR的增强现实（AR）系统，用于在维护任务中实现文本到动作的自动化执行，减轻认知负荷并提升任务表现。该系统采用基于Unity的AR可视化、实时文本识别以及大语言模型（LLM）驱动的程序化指导，通过15名参与者的案例研究，证明了任务完成速度更快，用户信任度更高。

ABSTRACT

Advancements in sensor technology, artificial intelligence (AI), and augmented reality (AR) have unlocked opportunities across various domains. AR and large language models like GPT have witnessed substantial progress and are increasingly being employed in diverse fields. One such promising application is in operations and maintenance (O&M). O&M tasks often involve complex procedures and sequences that can be challenging to memorize and execute correctly, particularly for novices or under high-stress situations. By marrying the advantages of superimposing virtual objects onto the physical world, and generating human-like text using GPT, we can revolutionize O&M operations. This study introduces a system that combines AR, Optical Character Recognition (OCR), and the GPT language model to optimize user performance while offering trustworthy interactions and alleviating workload in O&M tasks. This system provides an interactive virtual environment controlled by the Unity game engine, facilitating a seamless interaction between virtual and physical realities. A case study (N=15) is conducted to illustrate the findings and answer the research questions. The results indicate that users can complete similarly challenging tasks in less time using our proposed AR and AI system. Moreover, the collected data also suggests a reduction in cognitive load and an increase in trust when executing the same operations using the AR and AI system.

研究动机与目标

• 为解决维护任务中，尤其是对新手或处于压力状态下的人员，存在的高认知负荷与高错误率问题。
• 通过自动化程序化指导，减少对记忆复杂维护程序的依赖。
• 开发一种交互式AR系统，弥合虚拟指导与实际维护环境之间的鸿沟。
• 评估AI增强型AR对现实世界维护场景中任务表现、认知负荷及用户信任的影响。

提出的方法

• 系统使用Unity游戏引擎渲染AR叠加层，将分步维护指令显示在用户的视野中。
• 光学字符识别（OCR）实时提取物理设备标签和手册中的文本。
• 基于GPT的语言模型解析自然语言指令，并将其转换为可执行的AR指令。
• 系统根据实时OCR输入和GPT生成的指导，动态更新AR标注。
• 用户交互日志用于评估性能、工作负荷及信任度指标。
• 通过一项包含15名参与者的受控案例研究，评估任务完成时间、认知负荷（通过NASA-TLX量表）及信任水平。

实验结果

研究问题

• RQ1 与传统方法相比，AR与AI集成系统对任务完成时间有何影响？
• RQ2 该系统在维护任务中在多大程度上降低了认知工作量？
• RQ3 GPT与AR的集成如何影响用户对程序化指导的信任？
• RQ4 该系统能否有效解析并响应源自物理设备文本的自然语言指令？

主要发现

• 与传统方法相比，使用AR与AI系统的参与者完成维护任务的时间显著缩短。
• 通过NASA-TLX量表测量的认知工作量在使用该系统时显著降低。
• 用户报告对系统指导的信任度更高，尤其是在复杂或模糊的程序步骤中。
• 通过OCR与GPT实现的文本解析与动作映射表现出可靠性，支持实时程序适应。