[论文解读] A critical analysis of cognitive load measurement methods for evaluating the usability of different types of interfaces: guidelines and framework for Human-Computer Interaction

Ali Darejeh, Nadine Marcusa+2 more|arXiv (Cornell University)|Feb 19, 2024

Human-Automation Interaction and Safety被引用 7

一句话总结

本文对跨不同界面的认知负荷测量方法进行了系统综述，并提出一个框架，帮助可用性测试人员选择合适的方法。

ABSTRACT

Usability testing is an essential part of product design, particularly for user interfaces. To enhance the reliability of usability evaluations, employing cognitive load measurement methods can be highly effective in assessing the mental effort required to complete tasks during user testing. This review aims to provide an overview of the most suitable cognitive load measurement methods for evaluating various types of user interfaces, serving as a valuable resource for guiding usability assessments. To bridge the existing gap in the literature, a systematic review was conducted, analyzing 76 articles with experimental study designs that met the eligibility criteria. The review encompasses different methods of measuring cognitive load applicable to assessing the usability of diverse user interfaces, including computer software, information systems, video games, web and mobile applications, robotics, and virtual reality applications. The results highlight the most widely utilized cognitive load measurement methods in software usability, their respective usage percentages, and their application in evaluating the usability of each user interface type. Additionally, the advantages and disadvantages of each method are discussed. Furthermore, the review proposes a framework to assist usability testers in selecting an appropriate cognitive load measurement method for conducting accurate usability evaluations.

研究动机与目标

• 在各种界面类型的可用性评估中建立对认知负荷的可靠测量需求的动机。
• 综合现有在可用性测试中使用的认知负荷测量方法。
• 识别每种方法的优点与缺点。
• 提供一个框架，帮助测试人员在准确评估可用性时选择合适的认知负荷测量方法。

提出的方法

• 对符合条件的76项实验研究进行系统性综述。
• 按界面类型和用途对认知负荷测量方法进行分类。
• 量化使用模式并讨论方法的优点与局限性。
• 总结每种方法在不同界面（软件、信息系统、游戏、网页/移动端、机器人、VR）中的应用。
• 制定指南，帮助实践者选择合适的认知负荷测量方法。

实验结果

研究问题

• RQ1 为评估不同界面类型的可用性，最常用的认知负荷测量方法是什么？
• RQ2 这些方法在软件、信息系统、游戏、网页/移动端、机器人和 VR 情境中的表现如何？
• RQ3 每种测量方法的相对优点和缺点是什么？
• RQ4 哪些指南或框架可以帮助可用性测试人员在选择合适的认知负荷测量方法时提供帮助？

主要发现

• 在界面类型之间使用了广泛的认知负荷测量方法，并有记录的使用模式。
• 每种方法都有特定的优点和缺点，会影响可用性评估的结果。
• 综述确定了在特定界面类别中最常用的方法。
• 提出一个框架，以在准确的可用性评估中帮助从业者选择合适的认知负荷测量方法。