[논문 리뷰] Investigation of Multiple Resource Theory Design Principles on Robot Teleoperation and Workload Management

Han Zhao, Adam Norton외 6명|arXiv (Cornell University)|2021. 03. 30.

Human-Automation Interaction and Safety참고 문헌 28인용 수 7

한 줄 요약

이 연구는 다중 자원 이론(MRT)을 적용하여 작업 정보를 시각적 및 听각적 채널에 분산함으로써 로봇 원격운용에서 인지 부하를 줄이고 성능을 향상시킬 수 있는지 조사한다. 전반적인 조건 간에 부하 또는 성능에 유의미한 차이가 없었음에도 불구하고, 모odal 조합에 대한 개인의 차이가 있음을 고려할 때, 도우미나 구조대 상황과 같은 장시간 작업 환경에서는 표준 MRT 기반 설계보다 개인 맞춤형, 적응형 인터페이스가 더 효과적일 수 있다.

ABSTRACT

Robot interfaces often only use the visual channel. Inspired by Wickens' Multiple Resource Theory, we investigated if the addition of audio elements would reduce cognitive workload and improve performance. Specifically, we designed a search and threat-defusal task (primary) with a memory test task (secondary). Eleven participants - predominantly first responders - were recruited to control a robot to clear all threats in a combination of four conditions of primary and secondary tasks in visual and auditory channels. We did not find any statistically significant differences in performance or workload across subjects, making it questionable that Multiple Resource Theory could shorten longer-term task completion time and reduce workload. Our results suggest that considering individual differences for splitting interface modalities across multiple channels requires further investigation.

연구 동기 및 목표

• 로봇 원격운용에서 시각적 및 听각적 채널에 작업 정보를 분산함으로써 인지 부하를 줄일 수 있는지 테스트하기.
• 다중 채널 인터페이스(청각-시각)가 단일 채널 인터페이스(시각-시각 또는 청각-청각)보다 성능을 향상시키는지 평가하기.
• 모달리티 선호도 및 작업 성능에 대한 개인의 차이가 미치는 영향을 조사하기.
• 다중 자원 이론이 도시 구조 및 구조 작업과 같은 고위험 환경에서 장기적인 인간-로봇 상호작용을 위한 신뢰할 수 있는 설계 원칙이 될 수 있는지 결정하기.

제안 방법

• 11명의 구조대 참가자가 시뮬레이션된 위협 제거 작업을 수행하는 로봇을 제어하는 내부 설계 실험을 실시함.
• 이중 작업 파라디그마를 사용: 주 작업(탐색 및 폭발물 제거, 시각적 및/또는 听각적)과 보조 작업(작업 기억 테스트, 시각적 및/또는 听각적).
• 4가지 조건에서 인터페이스 모달리티를 다양화함: VV(시각-시각), VA(시각-청각), AV(청각-시각), AA(청각-청각).
• Pioneer 로봇에 Kinect 및 레이저 센서를 장착하고 ROS를 통해 제어하며, 4개의 숨겨진 위협이 있는 92m² 테스트 코스에서 실험 수행.
• 과제 완료 시간, 보조 작업 정확도, NASA-TLX를 사용한 부하 측정을 통해 성능 측정.
• 부하 및 명령 시간 데이터에서 정규성 위반으로 인해 비모수적 통계 검정(Kruskal-Wallis H 및 Wilcoxon 부호 순위 검정)을 적용함.

실험 결과

연구 질문

• RQ1 다양한 감각 채널(청각 및 시각)을 사용할 경우, 단일 채널 인터페이스보다 로봇 원격운용에서 인지 부하가 감소하는가?
• RQ2 다중 채널 작업 제시(예: 주 작업은 시각, 보조 작업은 청각)가 동일 채널 제시(예: 시각-시각 또는 청각-청각)보다 성능을 향상시키는가?
• RQ3 인지 능력 또는 모달리티 선호도의 개인적 차이가 다중 모달리티 인터페이스에서 성능 및 부하에 얼마나 큰 영향을 미치는가?
• RQ4 다중 자원 이론이 실제 세계의 장시간 복잡한 원격운용 작업에 신뢰할 수 있는 설계 원칙으로 적용될 수 있는가?

주요 결과

• VV, VA, AV, AA 4가지 인터페이스 조건 간에 전반적인 부하 또는 성능에 통계적으로 유의미한 차이가 없었으며, 이는 이 연구 맥락에서 MRT가 결과를 향상시키지 못했음을 시사함.
• 개별 참가자들은 모달리티 순서 및 제시 방식에 따라 성능에 심각한 차이를 보였음: p6, p3, p7은 조건 간에 보조 작업 반응 시간에 통계적으로 유의미한 차이를 보임.
• p6는 런 1(5.46초)에서 런 2(10.28초)로 넘어가며 정확한 명령 입력까지의 시간이 유의미하게 증가함으로써 피로 또는 모달리티 간 간섭 가능성을 시사함.
• p5는 VV 조건에서 보조 작업에 응답하지 못함으로써, 두 작업 모두 시각적 모달리티를 사용할 경우 시각 채널 과부하가 발생했음을 시사함.
• 일부 참가자들(예: p3, p6, p10)은 보조 작업을 청각적으로 제시받을 경우 더 잘 수행했고, p11은 시각적 제시를 선호함으로써 강한 개인적 차이를 보임.
• 이 연구는 MRT가 장기적 원격운용에 있어 보편적으로 효과적인 설계 원칙은 아니지만, 개인 맞춤형, 적응형 인터페이스는 더 효과적일 수 있다고 결론 내림.