[논문 리뷰] Quantifying the Impact of XR Visual Guidance on User Performance Using a Large-Scale Virtual Assembly Experiment

Leon Pietschmann, Paul-David Zuercher외 4명|arXiv (Cornell University)|2023. 08. 07.

Virtual Reality Applications and Impacts인용 수 4

한 줄 요약

이 대규모 가상 조립 실험은 199명의 참가자를 대상으로 웹 기반의 몰입형 환경에서 XR 시각적 안내의 효과를 평가하며, 시각적 안내가 없는 조건과 비교해 작업 완료 시간을 58% 감소시키고 실수를 62% 감소시킴을 입증한다. 본 연구는 다양한 실제와 유사한 조건에서 Pietschmann 등이 제안한 XR 시각적 안내 프레임워크를 검증하고 확장하여, 물체 식별, 동작 안내, 시선 안내 방식 등 다양한 모odalities에서의 성능 향상을 정량화한다.

ABSTRACT

The combination of Visual Guidance and Extended Reality (XR) technology holds the potential to greatly improve the performance of human workforces in numerous areas, particularly industrial environments. Focusing on virtual assembly tasks and making use of different forms of supportive visualisations, this study investigates the potential of XR Visual Guidance. Set in a web-based immersive environment, our results draw from a heterogeneous pool of 199 participants. This research is designed to significantly differ from previous exploratory studies, which yielded conflicting results on user performance and associated human factors. Our results clearly show the advantages of XR Visual Guidance based on an over 50\% reduction in task completion times and mistakes made; this may further be enhanced and refined using specific frameworks and other forms of visualisations/Visual Guidance. Discussing the role of other factors, such as cognitive load, motivation, and usability, this paper also seeks to provide concrete avenues for future research and practical takeaways for practitioners.

연구 동기 및 목표

• 절차적 작업에서 다양한 XR 시각적 안내 유형(물체 식별, 동작 안내, 시선 안내)이 사용자 성능에 미치는 영향을 정량화하는 것.
• 이전의 소규모 실험 및 실험실 기반 연구에서의 제한점(동질적 참가자 풀)을 해결하기 위해 대규모, 다양한 참가자를 대상으로 한 원격 실험을 수행하는 것.
• XR 시각적 안내로 인한 성능 향상이 일반적으로 추측되는 바와 같이 인지 부하 감소와 관련이 있는지 조사하는 것.
• Pietschmann 등이 제안한 XR 시각적 안내 프레임워크를 실증 데이터를 바탕으로 개선하고 현장 테스트하는 것.
• 산업 및 훈련 환경에서의 XR 시각화를 위한 실용적 설계 지침과 향후 연구 방향을 제공하는 것.

제안 방법

• 웹VR을 활용해 다양한 기기와 환경에서 원격 참여가 가능한 웹 기반의 대규모 가상 조립 실험을 수행함.
• 빨간 화살표로 물체 식별을,_PURPLE_LINES_ 혹은 녹색 홀로그램으로 동작 안내를, 빨간 테두리 표시로 시선 안내를 구현한 8개의 실험 그룹을 설계함.
• 실제 산업 환경을 반영한 현실적인 설정에서 15개의 구성 요소를 순차적으로 배치하고 연결해야 하는 표준화된 가상 조립 작업을 사용함.
• 작업 완료 시간과 실수 횟수와 같은 객관적 성능 지표를 수집하고, 동시에 NASA-TLX, IMI, SUS 설문지를 활용한 주관적 평가도 실시함.
• 참가자 인지 부하 및 동기 수준 등의 인간 요인 영향을 분석하기 위해 통계적 분석을 적용함.
• 통제되지 않은 원격 환경에서도 신뢰성을 확보하기 위해 기기 호환성 검사 및 데이터 타당성 검증과 같은 기술적 보안 조치를 시행함.

실험 결과

연구 질문

• RQ1 XR 시각적 안내의 다양한 형태(물체 식별, 동작 안내, 시선 안내)가 가상 조립 작업의 작업 완료 시간과 오류율에 어떤 영향을 미치는가?
• RQ2 XR 시각적 안내로 인한 성능 향상은 NASA-TLX로 측정된 인지 부하 감소와 어느 정도 관련이 있는가?
• RQ3 다양한 시각적 안내 조건에서 사용자 동기 수준과 인식된 사용성(IME 및 SUS로 측정)은 어떻게 변화하는가?
• RQ4 Pietschmann 등이 제안한 XR 시각적 안내 프레임워크는 대규모이고 다양한 참가자 풀을 바탕으로 한 원격이고 실제와 유사한 환경에서 실증적으로 검증되고 개선될 수 있는가?
• RQ5 시각적 혼잡도와 가림 현상을 최소화하기 위해 다양한 시각화 기법(예: 화살표 대비 빛나는 하이라이트)을 사용할 경우 실용적 함의와 설계 상충 요소는 무엇인가?

주요 결과

• XR 시각적 안내가 적용된 조건에서는 시각적 안내가 없는 기준 조건 대비 작업 완료 시간이 58% 감소함.
• XR 시각적 안내가 적용된 경우 조립 작업 중 실수 수가 62% 감소함.
• 다양한 성능 향상에도 불구하고, 인지 부하 측정치(NASA-TLX)에서 시각적 안내 조건 간 유의미한 차이가 관찰되지 않아, 성능 향상이 정신적 노력 감소 때문이라는 가정에 도전함.
• 참가자들은 방향성 화살표보다 빛나는 하이라이트나 색상 변화와 같은 비가림 시각화 방법을 선호하였으며, 화살표는 시야를 방해하고 방해 요소로 느껴졌음.
• 본 연구는 대규모, 다양한 참가자 풀, 원격 환경에서의 실증 실험을 통해 XR 시각적 안내 프레임워크의 효과성을 확인하였으며, 이는 소규모 실험실 기반 연구를 넘어 일반화 가능함을 입증함.
• 주관적 피드백은 화살표로 인한 시각적 혼잡도와 가림 현상이 사용성에 심각한 영향을 미친다고 강조하였으며, 이는 실제 응용 분야에서 빛나는 하이라이트나 색상 이동과 같은 대체 하이라이트 기법이 더 효과적일 수 있음을 시사함.