[논문 리뷰] A critical analysis of cognitive load measurement methods for evaluating the usability of different types of interfaces: guidelines and framework for Human-Computer Interaction

Ali Darejeh, Nadine Marcusa외 2명|arXiv (Cornell University)|2024. 02. 19.

Human-Automation Interaction and Safety인용 수 7

한 줄 요약

이 논문은 다양한 인터페이스에 걸친 인지 부하 측정 방법에 대한 체계적 검토를 수행하고, 사용성 테스트어가 적합한 방법을 선택하도록 돕는 프레임워크를 제시한다.

ABSTRACT

Usability testing is an essential part of product design, particularly for user interfaces. To enhance the reliability of usability evaluations, employing cognitive load measurement methods can be highly effective in assessing the mental effort required to complete tasks during user testing. This review aims to provide an overview of the most suitable cognitive load measurement methods for evaluating various types of user interfaces, serving as a valuable resource for guiding usability assessments. To bridge the existing gap in the literature, a systematic review was conducted, analyzing 76 articles with experimental study designs that met the eligibility criteria. The review encompasses different methods of measuring cognitive load applicable to assessing the usability of diverse user interfaces, including computer software, information systems, video games, web and mobile applications, robotics, and virtual reality applications. The results highlight the most widely utilized cognitive load measurement methods in software usability, their respective usage percentages, and their application in evaluating the usability of each user interface type. Additionally, the advantages and disadvantages of each method are discussed. Furthermore, the review proposes a framework to assist usability testers in selecting an appropriate cognitive load measurement method for conducting accurate usability evaluations.

연구 동기 및 목표

• 다양한 인터페이스 유형에서 사용성 평가를 위한 신뢰할 수 있는 인지 부하 측정의 필요성을 제시한다.
• 사용성 테스트에 사용된 기존 인지 부하 측정 방법을 종합한다.
• 각 방법의 장단점을 식별한다.
• 정확한 사용성 평가를 위한 적합한 인지 부하 측정 도구를 testers가 선택하도록 보조하는 프레임워크를 제공한다.

제안 방법

• 적합성 기준을 충족하는 76건의 실험 연구에 대한 체계적 검토를 수행한다.
• 인터페이스 유형과 사용 방식에 따라 인지 부하 측정 방법을 분류한다.
• 사용 패턴을 정량화하고 방법의 장점과 한계를 논의한다.
• 각 방법이 소프트웨어, 정보 시스템, 게임, 웹/모바일, 로봇공학, VR 등 다양한 인터페이스에 어떻게 적용되었는지 요약한다.
• 실무자가 적합한 인지 부하 측정 방법을 선택하는 데 도움이 되는 가이드라인을 개발한다.

실험 결과

연구 질문

• RQ1 다양한 인터페이스 유형의 사용성을 평가하는 데 가장 일반적으로 사용되는 인지 부하 측정 방법은 무엇인가?
• RQ2 이 방법들이 소프트웨어, 정보 시스템, 게임, 웹/모바일, 로봇공학, VR 맥락에서 어떻게 작동하는가?
• RQ3 각 측정 방법의 상대적 장단점은 무엇인가?
• RQ4 사용성 테스트 담당자가 적합한 인지 부하 측정치를 선택하는 데 도움이 되는 가이드라인이나 프레임워크는 무엇인가?

주요 결과

• 인터페이스 유형 전반에서 다양한 인지 부하 측정 방법이 사용되며, 사용 패턴이 문서화되어 있다.
• 각 방법은 사용성 평가 결과에 영향을 미치는 특정 장단점을 가진다.
• 리뷰는 특정 인터페이스 범주에 가장 널리 사용되는 방법을 식별한다.
• 정확한 사용성 평가를 위해 적절한 인지 부하 측정 방법을 선택하도록 실무자들을 안내하는 프레임워크를 제안한다.