[论文解读] NASA-TLX Web App: An Online Tool to Analyse Subjective Workload

Vinoth Pandian Sermuga Pandian, Sarah Suleri|arXiv (Cornell University)|Jan 27, 2020

Human-Automation Interaction and Safety参考文献 2被引用 8

一句话总结

本文提出了一款开源网络应用程序，通过允许参与者使用交互式滑块对任务维度进行评分，并进行成对权重比较，实现了对NASA-TLX主观工作量评估的自动化。该工具可实时计算累积工作量分数，提供可视化仪表板，并支持数据导出——为研究人员提供了一种便捷、易访问且用户友好的替代方案，相较于纸质或独立工具，获得了12位实验人员在可用性和相关性方面的积极反馈。

ABSTRACT

NASA Task Load Index (NASA-TLX) is a widely used assessment technique to compute subjective workload experienced during a task. It evaluates workload using six dimensions: mental demand, physical demand, temporal demand, frustration, effort, and performance. This paper presents a web app to assist experimenters in using NASA-TLX to commute subjective workload. The web app enables the experimenter to conduct various experiments simultaneously and offers the participants a concise interface to provide their subjective evaluation. It performs the calculations at the backend and provides the computed results comprehensively. The web app provides a dashboard for the experimenter to visualize and export the summary of results. Qualitative feedback from 12 experimenters indicated that the NASA-TLX web app is relevant, helpful, and easy to use.

研究动机与目标

• 解决纸质和分散的数字工具在NASA-TLX工作量评估中的局限性。
• 为研究人员提供一个集中化、可访问且易于部署的网络应用程序，用于开展主观工作量实验。
• 基于参与者评分和成对比较，自动化计算加权工作量分数。
• 提供实时数据可视化和导出功能，以实现高效分析与报告。
• 提升研究人员在重复性或多人参与的工作量研究中的可用性和可访问性。

提出的方法

• 该网络应用使用Twitter Bootstrap和React构建响应式用户界面，实现动态、设备自适应的交互体验。
• 参与者通过可拖动的滑块，在0–100的量表上对六项工作量维度——心理、体力、时间需求、挫折感、努力程度和表现——进行评分。
• 参与者通过成对比较界面为各维度分配相对权重，以反映其感知的重要性。
• 后端基于Firebase实时数据库和身份验证，实现实时跨设备安全存储与数据同步。
• 计算出的工作量分数基于加权和公式：总工作量 = Σ(评分_i × 权重_i)，其中i为每个维度。
• 结果可实时可视化，并可导出为CSV或JSON格式以供进一步分析。

实验结果

研究问题

• RQ1 基于网络的应用程序是否能在实验环境中有效替代纸质NASA-TLX问卷？
• RQ2 集中化、自动化的网络应用在可用性方面与传统或独立数字工具相比如何？
• RQ3 实时数据计算与可视化在多大程度上提升了工作量实验分析的效率？
• RQ4 基于云托管的开源解决方案是否能够支持多实验管理与安全数据处理？

主要发现

• NASA-TLX网络应用成功实现了基于参与者评分和成对权重的主观工作量分数自动化计算。
• 该工具支持同时管理多个实验，每个实验拥有唯一的ID和匿名的参与者标识符。
• 参与者认为界面直观易用，更倾向于使用横屏模式，因其提供了更佳的滑块操作空间。
• 12位实验人员的反馈证实，该应用在真实研究环境中具有相关性、便捷性和易用性。
• 该应用程序通过Firebase实现安全的实时数据同步，并支持标准格式（CSV、JSON）的数据导出。
• 该应用可在主流浏览器（Chrome、Firefox、Safari、Opera）上访问，性能通过Webpack和浏览器缓存实现优化。