[논문 리뷰] NASA-TLX Web App: An Online Tool to Analyse Subjective Workload

Vinoth Pandian Sermuga Pandian, Sarah Suleri|arXiv (Cornell University)|2020. 01. 27.

Human-Automation Interaction and Safety참고 문헌 2인용 수 8

한 줄 요약

이 논문은 참가자가 상호작용 슬라이더를 통해 작업 차원을 평가하고 쌍별 가중치 비교를 수행할 수 있도록 해주는 오픈소스 웹 애플리케이션을 제시한다. 이 도구는 실시간으로 누적 작업 부하 점수를 계산하고, 시각화 대시보드를 제공하며, 데이터 내보내기 기능을 지원한다. 연구자들이 종이 기반 또는 독립형 도구에 비해 편리하고 접근성 있고 사용자 친화적인 대안을 제공하며, 12명의 실험자가 사용성과 관련성에 대해 긍정적인 피드백을 제공했다.

ABSTRACT

NASA Task Load Index (NASA-TLX) is a widely used assessment technique to compute subjective workload experienced during a task. It evaluates workload using six dimensions: mental demand, physical demand, temporal demand, frustration, effort, and performance. This paper presents a web app to assist experimenters in using NASA-TLX to commute subjective workload. The web app enables the experimenter to conduct various experiments simultaneously and offers the participants a concise interface to provide their subjective evaluation. It performs the calculations at the backend and provides the computed results comprehensively. The web app provides a dashboard for the experimenter to visualize and export the summary of results. Qualitative feedback from 12 experimenters indicated that the NASA-TLX web app is relevant, helpful, and easy to use.

연구 동기 및 목표

• 종이 기반 및 산산이 흩어진 디지털 도구로 인한 NASA-TLX 작업 부하 평가의 한계를 해결하기 위해.
• 연구자들이 주관적 작업 부하 실험을 수행할 수 있도록 중앙집중식으로 접근 가능하고 쉽게 배포할 수 있는 웹 애플리케이션을 제공하기 위해.
• 참가자 평가와 쌍별 비교를 기반으로 가중치가 부여된 작업 부하 점수를 자동으로 계산하기 위해.
• 효율적인 분석과 보고를 위해 실시간 데이터 시각화 및 내보내기 기능을 제공하기 위해.
• 반복적 또는 다수의 참가자가 참여하는 작업 부하 연구를 수행하는 연구자들의 사용성과 접근성을 향상시키기 위해.

제안 방법

• 웹 앱은 Twitter Bootstrap과 React를 사용해 구축된 반응형 UI를 통해 동적이고 기기 적응형 상호작용을 제공한다.
• 참가자들은 정신적, 신체적, 시간적 요구, 좌절감, 노력, 성과의 여섯 가지 작업 부하 차원을 0~100 척도로 드래그 가능한 슬라이더를 사용해 평가한다.
• 참가자들은 상대적 중요도를 반영하기 위해 쌍별 비교 인터페이스를 통해 차원에 가중치를 할당한다.
• Firebase 실시간 데이터베이스와 인증 기능을 기반으로 한 백엔드는 실시간으로 기기 간에 데이터를 안전하게 저장하고 동기화한다.
• 계산된 작업 부하 점수는 가중합으로 유도된다: 총 작업 부하 = Σ(rating_i × weight_i) 각 차원 i에 대해.
• 결과는 실시간으로 시각화되며, 향후 분석을 위해 CSV 또는 JSON 형식으로 내보낼 수 있다.

실험 결과

연구 질문

• RQ1 웹 기반 애플리케이션이 실험 환경에서 종이 기반 NASA-TLX 설문지를 효과적으로 대체할 수 있는가?
• RQ2 중앙집중식으로 자동화된 웹 앱의 사용성은 전통적 또는 독립형 디지털 도구에 비해 어떻게 비교되는가?
• RQ3 실시간 데이터 계산 및 시각화가 작업 부하 실험 분석의 효율성을 어느 정도 향상시키는가?
• RQ4 클라우드 호스팅된 오픈소스 솔루션은 연구자가 다중 실험을 관리하고 보안적으로 데이터를 처리하는 데 적합한가?

주요 결과

• NASA-TLX 웹 앱은 참가자 평가와 쌍별 가중치를 사용해 주관적 작업 부하 점수를 성공적으로 자동화한다.
• 이 도구는 각각 고유한 ID와 익명화된 참가자 식별자를 가진 다중 실험을 동시에 관리할 수 있다.
• 참가자들은 인터페이스가 직관적이라고 평가했으며, 더 나은 슬라이더 상호작용 공간 덕분에 가로 모드를 선호했다.
• 12명의 실험자 피드백은 앱이 실제 연구 환경에서 관련성 있고 편리하며 사용하기 쉽다고 확인했다.
• 애플리케이션은 Firebase를 통해 보안적인 실시간 데이터 동기화를 지원하며, 표준 형식(CSV, JSON)으로 내보내기 가능하다.
• 앱은 주요 브라우저(Chrome, Firefox, Safari, Opera)에서 접근 가능하며, Webpack과 브라우저 캐싱을 통해 최적화된 성능을 제공한다.