[論文レビュー] NASA-TLX Web App: An Online Tool to Analyse Subjective Workload

Vinoth Pandian Sermuga Pandian, Sarah Suleri|arXiv (Cornell University)|Jan 27, 2020

Human-Automation Interaction and Safety参考文献 2被引用数 8

ひとこと要約

本論文では、参加者がインタラクティブなスライダーでタスクの次元を評価し、ペairワイズな重み比較を実施できるオープンソースのウェブアプリケーションを提示する。このツールはリアルタイムで累積的負荷スコアを計算し、ビジュアルダッシュボードを提供し、データのエクスポートも可能である。研究者にとって、ペーパーベースやスタンドアロンツールに代わる便利でアクセスしやすく、使いやすい代替手段を提供する。12名の実験参加者からのフィードバックでは、使いやすさと関連性について肯定的である。

ABSTRACT

NASA Task Load Index (NASA-TLX) is a widely used assessment technique to compute subjective workload experienced during a task. It evaluates workload using six dimensions: mental demand, physical demand, temporal demand, frustration, effort, and performance. This paper presents a web app to assist experimenters in using NASA-TLX to commute subjective workload. The web app enables the experimenter to conduct various experiments simultaneously and offers the participants a concise interface to provide their subjective evaluation. It performs the calculations at the backend and provides the computed results comprehensively. The web app provides a dashboard for the experimenter to visualize and export the summary of results. Qualitative feedback from 12 experimenters indicated that the NASA-TLX web app is relevant, helpful, and easy to use.

研究の動機と目的

• ペーパーベースおよび散在したデジタルツールによるNASATLX負荷評価の限界を解消すること。
• 研究者が主観的負荷実験を実施できる、集中化され、アクセス可能で簡単にデプロイ可能なウェブアプリケーションを提供すること。
• 参加者の評価とペアワイズ比較に基づいて、重み付き負荷スコアの自動計算を実現すること。
• リアルタイムでのデータ可視化とエクスポート機能を提供し、分析とレポート作成の効率を高めること。
• 繰り返し実施される、または複数参加者を含む負荷研究を実施する研究者にとっての使いやすさとアクセシビリティを向上させること。

提案手法

• ウェブアプリは、Twitter Bootstrap と React を使用して構築されたレスポンシブUIにより、動的でデバイスに適応したインタラクションを実現する。
• 参加者は、メンタル、フィジカル、時間的要請、いらだち、努力、パフォーマンスの6つの負荷次元を、0〜100のスケールでドラッグ可能なスライダーを使用して評価する。
• 参加者は、相対的な重みをペアワイズ比較インターフェースで割り当てることで、各次元の相対的な重要性を反映する。
• Firebase Realtime Database および認証機能を活用したバックエンドにより、リアルタイムで複数デバイス間でデータを安全に保存・同期する。
• 計算された負荷スコアは、加重和から導出される：総合的負荷 = Σ(評価_i × 重み_i)（各次元 i について）。
• 結果はリアルタイムで可視化され、後続の分析のためにCSVまたはJSON形式でエクスポート可能である。

実験結果

リサーチクエスチョン

• RQ1 ウェブベースのアプリケーションは、実験的環境においてペーパーベースのNASATLXアンケートを効果的に置き換えることができるか？
• RQ2 集中化され、自動化されたウェブアプリケーションの使いやすさは、従来のツールやスタンドアロンのデジタルツールと比較してどうか？
• RQ3 リアルタイムでのデータ計算と可視化は、負荷実験の分析効率をどの程度向上させるか？
• RQ4 クラウドホスティングされたオープンソースソリューションは、研究者による複数の実験の管理とセキュアなデータ取り扱いを可能にするか？

主な発見

• NASATLXウェブアプリは、参加者の評価とペアワイズ重みに基づいて、主観的負荷スコアの自動計算に成功した。
• 本ツールは、それぞれが固有のIDと匿名化された参加者識別子を持つ複数の実験を同時に管理できる。
• 参加者はインターフェースが直感的だと感じており、より良いスライダー操作スペースを提供するため、ランドスケープモードを好む傾向があった。
• 12名の研究者からのフィードバックにより、アプリが実際の研究現場で関連性があり、便利で使いやすいことが確認された。
• Firebaseを介した安全でリアルタイムのデータ同期が可能であり、標準フォーマット（CSV、JSON）でのエクスポートもサポートしている。
• 主なブラウザ（Chrome、Firefox、Safari、Opera）でアクセス可能で、Webpackとブラウザーキャッシュを活用した最適化により、パフォーマンスが向上している。