[論文レビュー] Usability Evaluation and Improvement of a Tool for Self-Service Learning Analytics

Shoeb Joarder, Mohamed Amine Chatti+1 more|arXiv (Cornell University)|Mar 25, 2026

Online Learning and Analytics被引用数 0

ひとこと要約

論文では、ノーコードの SSLA ツールである Indicator Editor の厳密で反復的なユーザビリティと UX 評価を実施し、最終的に OpenLAP にデプロイされた UI へと繋がる設計改善を導出しています。

ABSTRACT

Self-Service Learning Analytics (SSLA) tools aim to support educational stakeholders in creating learning analytics indicators without requiring technical expertise. While such tools promise user control and trans- parency, their effectiveness and adoption depend critically on usability aspects. This paper presents a compre- hensive usability evaluation and improvement of the Indicator Editor, a no-code, exploratory SSLA tool that enables non-technical users to implement custom learning analytics indicators through a structured workflow. Using an iterative evaluation approach, we conduct an exploratory qualitative user study, usability inspections of high-fidelity prototypes, and a workshop-based evaluation in an authentic educational setting with n = 46 students using standardized instruments, namely System Usability Scale (SUS), User Experience Question- naire (UEQ), and Net Promoter Score (NPS). Based on the evaluation findings, we derive concrete design implications that inform improvements in workflow guidance, feedback, and information presentation in the Indicator Editor. Furthermore, our evaluation provides practical insights for the design of usable SSLA tools.

研究の動機と目的

• Original Indicator Editor インターフェースの使いやすさとユーザー体験を評価する。
• 質的ユーザ研究と検査を通じて主要な使いやすさの課題を特定する。
• 発見に基づく高忠実度プロトタイプを用いて UI を反復的に改善する。
• SUS、UEQ、NPS を用いたワークショップで最終プロトタイプを評価する。
• 使いやすい SSLA ツール設計の実用的ガイドラインを指針として提供する。

提案手法

• 5 名の参加者を対象とした探索的な質的ユーザ研究を実施し、使いづらさの課題を特定する。
• 反復デザイン段階を通じて高忠実度プロトタイプの使いやすさ検査を行う。
• Figma や React.js などのツールを用いて初期・中間・最終プロトタイプを開発する。
• SUS、UEQ、NPS を用いて usability と UX を定量化するワークショップ（n=46）を実施する。
• ワークフローの指針と情報提示に関する具体的なデザイン示唆へと Findings を統合する。

実験結果

リサーチクエスチョン

• RQ1 Indicator Editor を用いた LA 指標の実装でユーザーが直面する主な使いやすさと UX の課題は何か。
• RQ2 反復デザインの改良は認知された使いやすさとユーザー体験にどのように影響するか。
• RQ3 明確さ・フィードバック・ワークフローの理解を確実に高める設計改善は何か。
• RQ4 改善後、Indicator Editor を使用するユーザーの推奨意向はどうなるか。

主な発見

• 質的研究で4つの主要な使いやすさの課題を同定：フィードバックの明確さ、用語の理解性、情報過多、視覚要素と相互作用の一貫性。
• 反復プロトタイプはワークフローの構造、継続的な概要、文脈的ヘルプを改善するが、データセット–フィルタの関係性や自動状態変化に関する課題は残る。
• 定量的なワークショップ結果は SUS 平均 76.8（良好な使いやすさ）でばらつきあり；17.2% が優れている（SUS ≥85）、13.8% は 70 未満。
• UEQ では perspicuity（理解のしやすさ）が主要な痛点（負のスコア -0.63）、効率と信頼性は混合だが概ね前向き。hedonic quality はほぼ中立。
• NPS は -28.3%、批判者が推奨者を上回り、ツールへの支持が限定的であることを示す。