[논문 리뷰] Continuous Mental Effort Evaluation during 3D Object Manipulation Tasks based on Brain and Physiological Signals

Dennis Wobrock, Jérémy Frey외 4명|arXiv (Cornell University)|2015. 05. 29.

Gaze Tracking and Assistive Technology참고 문헌 29인용 수 4

한 줄 요약

이 논문은 EEG, ECG, GSR 신호를 사용하여 3차원 물체 조작 중 정신적 부담을 연속적이고 객관적으로 평가하는 방법을 제안한다. 이는 이러한 생리적 신호가 실시간으로 정신적 부하를 신뢰성 있게 추정할 수 있음을 입증하며, 사용자를 방해하지 않고도 3차원 사용자 인터페이스의 사용성에 대해 세밀하게 평가할 수 있도록 한다.

ABSTRACT

Designing 3D User Interfaces (UI) requires adequate evaluation tools to ensure good usability and user experience. While many evaluation tools are already available and widely used, existing approaches generally cannot provide continuous and objective measures of usa-bility qualities during interaction without interrupting the user. In this paper, we propose to use brain (with ElectroEncephaloGraphy) and physiological (ElectroCardioGraphy, Galvanic Skin Response) signals to continuously assess the mental effort made by the user to perform 3D object manipulation tasks. We first show how this mental effort (a.k.a., mental workload) can be estimated from such signals, and then measure it on 8 participants during an actual 3D object manipulation task with an input device known as the CubTile. Our results suggest that monitoring workload enables us to continuously assess the 3DUI and/or interaction technique ease-of-use. Overall, this suggests that this new measure could become a useful addition to the repertoire of available evaluation tools, enabling a finer grain assessment of the ergonomic qualities of a given 3D user interface.

연구 동기 및 목표

• 3차원 물체 조작 작업 중 정신적 부하를 연속적이고 비침습적인 방법으로 평가하는 방법을 개발하기 위해.
• 뇌 및 생리적 신호를 실시간 상호작용에서 정신적 부담의 객관적 지표로 사용할 수 있는지의 가능성을 평가하기 위해.
• 작업 중단이 필요한 기존의 사용성 평가 방법에 대한 보완 도구를 제공하기 위해.
• 생리적 부하 측정을 통해 3차원 사용자 인터페이스와 상호작용 기법의 인체공학적 품질을 평가하기 위해.
• CubTile 장치를 사용하여 3차원 조작 작업을 수행하는 참가자들로부터의 실증 데이터를 바탕으로 본 방법의 타당성을 검증하기 위해.

제안 방법

• 3차원 물체 조작 작업 중 뇌 활동을 측정하기 위해 뇌전도도측정(EEG)을 활용하였다.
• 정신적 부하와 관련된 자율신경계 활동을 평가하기 위해 심전도(ECG) 및 전기피부반응(GSR) 신호를 수집하였다.
• 생리적 신호를 연속적인 정신적 부담 추정치로 매핑하기 위해 회귀 기반 접근법을 사용하였다.
• 8명의 참가자를 대상으로 CubTile을 3차원 입력 장치로 사용하여 작업을 수행하는 실험을 실시하였다.
• 정밀한 부하 추정을 위해 생리적 데이터에 대한 신호 전처리 및 특징 추출 기법을 적용하였다.
• 생리적 신호와 주관적 부하 평가 간의 상관관계 분 析을 통해 정신적 부하 추정 모델의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 EEG, ECG, GSR 신호를 사용하여 3차원 물체 조작 중 정신적 부담을 연속적으로 추정할 수 있는가?
• RQ2 3차원 상호작용 작업 중 생리적 신호와 주관적 부하 평가 간의 상관관계는 얼마나 높은가?
• RQ3 생리적 기반의 부하 추정이 전통적인 사용성 평가 방법에 대한 신뢰할 수 있는 대안으로서 얼마나 유용한가?
• RQ4 이 방법은 3차원 조작 작업의 다양한 단계나 난이도 수준에서의 부하 변화를 감지할 수 있는가?
• RQ5 이 방법은 실시간으로 상호작용 기법의 사용성 차이를 감지할 정도로 민감한가?

주요 결과

• 제안된 방법은 3차원 물체 조작 중 EEG, ECG, GSR 신호를 사용하여 실시간으로 정신적 부하를 성공적으로 추정하였다.
• 추정된 정신적 부하와 주관적 부하 평가 간에 유의미한 상관관계가 발견되어 본 방법의 타당성이 입증되었다.
• 생리적 신호는 사용자 중단이나 작업 후 설문조사 없이도 연속적인 부하 모니터링을 가능하게 하였다.
• 시스템은 작업 단계에 따라 부하 변화를 감지하여 작업 난이도 변화에 민감함을 보였다.
• 결과적으로 이 방법은 기존의 사용성 평가 방법에 대한 세밀하고 객관적인 보완 수단으로 활용될 수 있음을 시사한다.
• 다중 모odal 생리적 신호의 활용은 단일 신호 접근법에 비해 부하 추정의 정확성과 견고성을 향상시켰다.