[論文レビュー] Augmented Reality for Maintenance Tasks with ChatGPT for Automated Text-to-Action

Fang Xu, Tri Nguyen+1 more|arXiv (Cornell University)|Jul 7, 2023

Augmented Reality ApplicationsComputer Science被引用数 3

ひとこと要約

本論文では、GPTおよびOCRと統合された拡張現実（AR）システムを提示し、保守作業におけるテキストからアクションへの自動実行を実現することで、認知的負荷を軽減し、作業パフォーマンスを向上させた。このシステムは、UnityベースのAR可視化、リアルタイムのテキスト認識、およびLLM駆動の手順ガイダンスを採用しており、15名の参加者を対象とした事例研究で、作業の迅速化とユーザーの信頼性の向上が確認された。

ABSTRACT

Advancements in sensor technology, artificial intelligence (AI), and augmented reality (AR) have unlocked opportunities across various domains. AR and large language models like GPT have witnessed substantial progress and are increasingly being employed in diverse fields. One such promising application is in operations and maintenance (O&M). O&M tasks often involve complex procedures and sequences that can be challenging to memorize and execute correctly, particularly for novices or under high-stress situations. By marrying the advantages of superimposing virtual objects onto the physical world, and generating human-like text using GPT, we can revolutionize O&M operations. This study introduces a system that combines AR, Optical Character Recognition (OCR), and the GPT language model to optimize user performance while offering trustworthy interactions and alleviating workload in O&M tasks. This system provides an interactive virtual environment controlled by the Unity game engine, facilitating a seamless interaction between virtual and physical realities. A case study (N=15) is conducted to illustrate the findings and answer the research questions. The results indicate that users can complete similarly challenging tasks in less time using our proposed AR and AI system. Moreover, the collected data also suggests a reduction in cognitive load and an increase in trust when executing the same operations using the AR and AI system.

研究の動機と目的

• 保守作業における高い認知的負荷とエラー率、特に初心者やストレス状態下での課題を解決すること。
• 複雑な保守手順を暗記する依存を減らし、手順ガイダンスの自動化を実現すること。
• 仮想の指示と物理的保守環境を結ぶインタラクティブなARシステムの開発。
• AI増強型ARが現実世界の保守シナリオにおける作業パフォーマンス、認知的負荷、ユーザー信頼に与える影響を評価すること。

提案手法

• システムはUnityゲームエンジンを用いて、ユーザーの視界内に段階的な保守手順を表示するARオーバーレイをレンダリングする。
• 光学的文字認識（OCR）により、物理的な機器のラベルやマニュアルからのテキストをリアルタイムで抽出する。
• GPTベースの言語モデルが自然言語コマンドを解釈し、実行可能なAR指示に変換する。
• システムは、リアルタイムのOCR入力とGPT生成ガイダンスに基づいてARアノテーションを動的に更新する。
• ユーザーのインタラクションは、パフォーマンス、負荷、信頼性指標の評価を目的にログに記録される。
• 15名の参加者を対象とした制御された事例研究により、作業完了時間、認知的負荷（NASA-TLXを用いて）、信頼度が評価された。

実験結果

リサーチクエスチョン

• RQ1 ARおよびAI統合システムは、従来の方法と比較して、作業完了時間にどのような影響を与えるか？
• RQ2 このシステムは、保守作業中の認知的負荷をどの程度低減するか？
• RQ3 GPTとARの統合は、手順ガイダンスに対するユーザーの信頼にどのように影響するか？
• RQ4 このシステムは、物理的機器のテキストから抽出された自然言語指示を効果的に解釈・実行できるか？

主な発見

• 参加者は、従来の方法と比較して、ARおよびAIシステムを用いることで、保守作業を顕著に迅速に完了した。
• NASA-TLXスケールを用いた測定により、認知的負荷が、提案されたシステムを用いる際、顕著に低減した。
• 特に複雑または曖昧な手順ステップにおいて、ユーザーはシステムのガイダンスに対する信頼度を高めていると報告した。
• OCRとGPTによるテキスト解釈およびアクションマッピングが信頼性を示し、リアルタイムでの手順適応が可能となった。