[論文レビュー] Assessing the Usability of a Novel System for Programming Education

Giovanni Vincenti, J. Scott Hilberg+3 more|arXiv (Cornell University)|Nov 15, 2017

Teaching and Learning Programming参考文献 13被引用数 3

ひとこと要約

本稿では、線通りにコードを1行ずつ進める際に変数の値をリアルタイムで追跡できる、ウェブベースのインタラクティブツール「line_explorer」の評価を行っている。音声説明も利用可能である。結果として、情報技術（IT）およびコンピュータサイエンス（CS）の学生は、特にプログラミングの授業の有用性について中立的である学生にとって、より使いやすいと感じているが、情報システム（IS）の学生は低 usability を報告しており、ループの可視化と認知的負荷の低減に焦点を当てたインターフェースの改善が求められることが示された。

ABSTRACT

The authors present the results of a simple usability test performed on line_explorer, an innovative tool aimed at letting students explore programming. The system offers an interactive environment where students can learn, review, and practice programming independently or through step-by-step instruction. Students in Information Technology, Computer Science, and Information Systems were surveyed. The findings show that students have interest in this tool, whereas some groups find this tool more interesting and useful. The findings will help refine the user interface for the next phase of testing which include changes for simplicity, usability and expanded topic content. Overall the survey on line_explorer in its current design phase seem more useful for IT and CS majors, however significant changes are still needed.

研究の動機と目的

• line_explorerの使いやすさを評価すること。これは、ステップバイステップのコード実行を通じてプログラミングを学ぶのを支援することを目的とした新規のインタラクティブツールである。
• 初心者プログラミング学生における学部（IT、CS、IS）ごとの使いやすさの認識の違いを特定すること。
• 学生の自己報告によるプログラミングへの慣れ具合や、授業の有用性への認識が、ツールの評価にどのように影響するかを評価すること。
• 特に2次元インターフェース上でループ内の変数の追跡に起因する主な使いやすさの課題を同定することで、今後の設計改善を支援すること。
• 異なるプログラミング経験レベルを持つ学生にとって、このツールがプログラミング授業における価値ある補足的学習支援手段として機能できるかどうかを特定すること。

提案手法

• 本研究では、システム使いやすさ尺度（SUS）を用いた使いやすさテストを実施した。SUSは10項目のリッカート尺度で構成され、使用のしやすさを測定する標準化されたアンケートである。
• 参加者は、初年度のプログラミングコースを履修中のIT、CS、ISの学生であり、line_explorerをデモンストレーションモードおよび評価モードで操作した。
• このツールでは、ユーザーがコードを1行ずつ進めることが可能であり、グリッドベースのワークシートで変数の値を表示し、再生コントロールを介して音声説明を再生できる。
• データ収集はオンラインアンケートを通じて行われ、回答は学部、プログラミング経験レベル、および自己報告によるプログラミングへの慣れ具合ごとに分析された。
• ナビゲーションの明確さ、視覚的ごみの有無、および「チェック」や「表示」ボタンなどのフィードバックメカニズムの効果性について、インターフェースが評価された。
• 定量的SUSスコア（0–100）が算出され、人種的・行動的サブグループごとに比較され、使いやすさの傾向を特定した。

実験結果

リサーチクエスチョン

• RQ1 異なる学部背景（IT、CS、IS）の学生は、line_explorerの使いやすさをどのように認識しているか？
• RQ2 学生の自己報告によるプログラミングへの慣れ具合と、ツールのSUSスコアの関係は何か？
• RQ3 学生がプログラミングの授業の有用性をどのように感じているかが、line_explorerの使いやすさの評価にどのように関連しているか？
• RQ4 学生がline_explorerを使用する際、特にループ内の変数の値を追跡する際に直面する具体的な使いやすさの課題は何か？
• RQ5 現在のline_explorerの設計は、インタラクティブなコードトレースを通じた効果的な学習をどの程度サポートしているか？

主な発見

• ITの学生は、デモンストレーションモード（平均58.3–62.8）および評価モード（平均59.1–62.8）で、CSおよびISの学生よりも高いSUSスコアを報告しており、より良い使いやすさの認識が示された。
• プログラミングに初めて挑戦するCSの学生は、低い使いやすさ（デモンストレーション：平均60.2、評価：平均61.0）を報告しており、このツールが絶対的初心者にはまだ十分に合っていない可能性を示唆している。
• ISの学生は、最も低い使いやすさスコア（デモンストレーション：平均31.2、評価：平均40.0）を報告しており、このグループには顕著な使いやすさの問題があることが示された。
• プログラミングの授業の有用性について中立的である学生が、最も高いSUSスコア（IT：平均62.7、CS：平均62.0）を報告しており、このツールが特にこの層に最も有益である可能性を示唆している。
• CSの学生でプログラミングへの慣れが低い（1/5）学生は、両モードで最も低いSUSスコア（32.5）を報告しており、自信のない学習者にとって使いにくさが顕著であることを示している。
• 現在のインターフェースは、2次元レイアウト上での3次元の変数状態（行と反復回数）の表現に苦慮しており、特にループ処理において認知的負荷が増大し、ナビゲーションが困難になる傾向がある。