[论文解读] Assessing the Usability of a Novel System for Programming Education

Giovanni Vincenti, J. Scott Hilberg+3 more|arXiv (Cornell University)|Nov 15, 2017

Teaching and Learning Programming参考文献 13被引用 3

一句话总结

本文評估了 line_explorer，這是一種基於網路的互動式工具，可讓學生逐行檢視程式碼，並即時追蹤變數值，搭配語音說明。結果顯示，資訊科技（IT）與電腦科學（CS）學生認為其可用性較高，特別是對程式課程實用性持中立態度的學生；然而，資訊系統（IS）學生報告可用性較低，顯示需針對迴圈可視化與降低認知負荷進行介面改進。

ABSTRACT

The authors present the results of a simple usability test performed on line_explorer, an innovative tool aimed at letting students explore programming. The system offers an interactive environment where students can learn, review, and practice programming independently or through step-by-step instruction. Students in Information Technology, Computer Science, and Information Systems were surveyed. The findings show that students have interest in this tool, whereas some groups find this tool more interesting and useful. The findings will help refine the user interface for the next phase of testing which include changes for simplicity, usability and expanded topic content. Overall the survey on line_explorer in its current design phase seem more useful for IT and CS majors, however significant changes are still needed.

研究动机与目标

• 評估 line_explorer 的可用性，此為一項新設計的互動式工具，旨在透過逐步執行程式碼，協助學生學習程式設計。
• 識別不同學術領域（資訊科技、電腦科學、資訊系統）的初學程式學生對工具可用性的感知差異。
• 評估學生對程式設計的自我舒適度與對課程實用性之看法，如何影響其對工具的評估。
• 透過識別關鍵可用性挑戰，特別是於 2D 界面中追蹤迴圈內變數值的問題，為未來設計迭代提供參考。
• 確認此工具是否可作為程式課程中具價值的輔助學習工具，特別是針對不同程式設計經驗水平的學生。

提出的方法

• 本研究採用可用性測試，使用系統可用性量表（SUS），這是一種標準化的 10 題李克特式量表問卷，用以衡量 perceived ease of use（主觀易用性）。
• 受試者為修習第一門程式設計課程的資訊科技（IT）、電腦科學（CS）與資訊系統（IS）學生，他們在示範與評估兩種模式下使用 line_explorer。
• 該工具允許使用者逐行瀏覽程式碼，於基於表格的試算表中檢視變數值，並透過播放控制取得語音說明。
• 資料透過線上問卷收集，並依學術領域、程式設計經驗層級與自我報告的程式設計舒適度進行分析。
• 針對導航清晰度、視覺雜亂程度與回饋機制（如「檢查」與「顯示」按鈕）的有效性進行介面評估。
• 計算並比較不同人口統計與行為次群組的定量 SUS 分數（0–100），以識別可用性趨勢。

实验结果

研究问题

• RQ1 不同學術背景（IT、CS、IS）的學生如何看待 line_explorer 的可用性？
• RQ2 學生對程式設計的自我舒適度與其對工具的 SUS 分數之間有何關係？
• RQ3 學生對程式課程實用性的看法，與其對 line_explorer 可用性的評估之間有何關聯？
• RQ4 學生在使用 line_explorer 時，遇到哪些具體的可用性挑戰，特別是在追蹤迴圈中變數值時？
• RQ5 目前 line_explorer 的設計在多大程度上能支援透過互動式程式碼追蹤實現有效學習？

主要发现

• 資訊科技（IT）學生報告較高的 SUS 分數（示範模式平均 58.3–62.8，評估模式平均 59.1–62.8），顯示其主觀可用性較高，優於電腦科學（CS）與資訊系統（IS）學生。
• 首次接觸程式設計的電腦科學（CS）學生報告較低的可用性（示範模式平均 60.2，評估模式平均 61.0），顯示此工具可能尚未滿足絕對初學者的需求。
• 資訊系統（IS）學生報告最低的可用性分數（示範模式平均 31.2，評估模式平均 40.0），顯示此群體存在顯著的可用性問題。
• 對程式課程實用性持中立態度的學生報告最高的 SUS 分數（IT 群體平均 62.7，CS 群體平均 62.0），顯示此工具可能最適合此類受眾。
• 在電腦科學（CS）中對程式設計舒適度評分為 1/5 的學生，報告最低的 SUS 分數（兩種模式皆為 32.5），顯示此工具對缺乏信心的學習者可用性極差。
• 目前介面在 2D 布局中難以有效呈現三維變數狀態（程式碼行 + 迴圈次數），特別是在處理迴圈時，導致認知負荷過重與導航困難。