[논문 리뷰] Augmented Reality for Maintenance Tasks with ChatGPT for Automated Text-to-Action

Fang Xu, Tri Nguyen외 1명|arXiv (Cornell University)|2023. 07. 07.

Augmented Reality ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 유지보수 작업에서 텍스트에서 액션으로의 자동 실행을 가능하게 하기 위해 GPT와 OCR와 통합된 증강현실(AR) 시스템을 제시한다. 이는 인지 부하를 감소시키고 작업 성과를 향상시킨다. 시스템은 유니티 기반의 AR 시각화, 실시간 텍스트 인식, LLM 기반의 절차적 안내를 사용하며, 15명의 참가자에 대한 사례 연구에서 더 빠른 작업 완료와 더 높은 사용자 신뢰를 입증한다.

ABSTRACT

Advancements in sensor technology, artificial intelligence (AI), and augmented reality (AR) have unlocked opportunities across various domains. AR and large language models like GPT have witnessed substantial progress and are increasingly being employed in diverse fields. One such promising application is in operations and maintenance (O&M). O&M tasks often involve complex procedures and sequences that can be challenging to memorize and execute correctly, particularly for novices or under high-stress situations. By marrying the advantages of superimposing virtual objects onto the physical world, and generating human-like text using GPT, we can revolutionize O&M operations. This study introduces a system that combines AR, Optical Character Recognition (OCR), and the GPT language model to optimize user performance while offering trustworthy interactions and alleviating workload in O&M tasks. This system provides an interactive virtual environment controlled by the Unity game engine, facilitating a seamless interaction between virtual and physical realities. A case study (N=15) is conducted to illustrate the findings and answer the research questions. The results indicate that users can complete similarly challenging tasks in less time using our proposed AR and AI system. Moreover, the collected data also suggests a reduction in cognitive load and an increase in trust when executing the same operations using the AR and AI system.

연구 동기 및 목표

• 유지보수 작업에서 특히 초보자이거나 스트레스를 받는 상황일 때 높은 인지 부하와 오류율을 해결하기 위해.
• 복잡한 유지보수 절차를 외우는 데 의존도를 줄이기 위해 절차적 안내의 자동화를 위해.
• 가상 지침과 물리적 유지보수 환경을 연결하는 상호작용 가능한 AR 시스템을 개발하기 위해.
• 실제 유지보수 환경에서 인공지능 기반 AR의 영향을 작업 성과, 인지 부하, 사용자 신뢰도 측면에서 평가하기 위해.

제안 방법

• 시스템은 AR 오버레이를 렌더링하기 위해 유니티 게임 엔진을 사용하여 사용자의 시야에 단계별 유지보수 지침을 표시한다.
• 광학 문자 인식(OCR)은 실시간으로 물리적 장비 라벨과 매뉴얼에서 텍스트를 추출한다.
• GPT 기반의 언어 모델은 자연어 명령어를 해석하고 이를 실행 가능한 AR 지침으로 변환한다.
• 시스템은 실시간 OCR 입력과 GPT가 생성한 안내에 따라 동적으로 AR 애너테이션을 업데이트한다.
• 사용자 상호작용은 성과, 부하, 신뢰도 지표 평가를 위해 로그로 기록된다.
• 15명의 참가자에 대한 통제된 사례 연구를 통해 작업 완료 시간, 인지 부하(NASA-TLX를 통해 측정), 신뢰 수준을 평가한다.

실험 결과

연구 질문

• RQ1 AR와 AI가 통합된 시스템은 전통적 방법에 비해 작업 완료 시간에 어떤 영향을 미치는가?
• RQ2 이 시스템은 유지보수 작업 중 인지 부하를 어느 정도 감소시키는가?
• RQ3 GPT와 AR의 통합은 사용자 신뢰도 절차적 안내에 어떤 영향을 미치는가?
• RQ4 이 시스템은 물리적 장비의 텍스트에서 유도된 자연어 지시어를 효과적으로 해석하고 실행할 수 있는가?

주요 결과

• 참가자들은 기존 방법에 비해 AR 및 AI 시스템을 사용할 때 유지보수 작업을 유의미하게 더 빨리 완료했다.
• NASA-TLX 척도로 측정한 인지 부하가 제안된 시스템을 사용할 경우에 크게 감소했다.
• 특히 복잡하거나 모호한 절차적 단계에서 사용자들은 시스템의 안내에 대해 더 높은 수준의 신뢰를 보고했다.
• OCR와 GPT를 통한 신뢰할 수 있는 텍스트 해석과 동작 매핑을 통해 실시간 절차 적응이 가능함을 시스템이 입증했다.