[論文レビュー] Teaching HCI Design in a Flipped Learning M.Sc. Course Using Eye-Tracking Peer Evaluation Data

Michalis Xenos, Maria Rigou|arXiv (Cornell University)|Mar 4, 2019

Innovative Teaching Methods参考文献 29被引用数 4

ひとこと要約

本論文は、眼動追跡データをPeer評価に統合することで反復的設計改善を促進する、HCIデザインのフリップ・クラスルームM.Sc.課程を提示する。学生たちはグループを形成し、インタラクティブシステムのプロトタイプを開発し、眼動追跡を用いて使いやすさを評価した。その後、データドリブンなフィードバックに基づき反復的に設計を改善し、明確な設計改善が得られ、学生の評価も良好であった。

ABSTRACT

This paper presents experiences from a flipped classroom M.Sc. course on Human-Computer Interaction (HCI). The students that finished successfully this course participated in twelve short workshops, based on a flipped classroom model. Each workshop focused on a specific HCI activity, while before the workshops, a two-hour lecture was used to introduce the students in the flipped learning concept. All the rest of the educational material was offered to the students online before each workshop. Such material was mainly short lectures from the professor, in the form of videos uploaded in the course's YouTube channel and documents delivered using the university learning management system (LMS). For each workshop the students had to be prepared to participate, which was tested using brief quizzes before the start of specific workshops. The activity presented in this paper was the design and evaluation of an interactive system. The students were asked to form six groups comprising of three to four students each. Then a system's description, vague enough to stimulate creativity, was randomly assigned to each group. This activity presented in this paper was the longest activity of the entire course and it was conducted in four consequent workshops. The paper presents the setting of this experiment, the peer assessment method and the use of eye-tracking data collected and analysed to aid the students towards improving their design. The students created a working model of the system with limited functionality and improved this model using eye-tracking data from the peer evaluation of this model. The use of these data offered them the insight to improve their models and to undergo design changes. The paper presents samples of the progress made between various versions of the models and concludes presenting the preliminary positive results of the students qualitative evaluation of this experiment.

研究の動機と目的

• フリップ・クラスルームの教育環境において、眼動追跡データをPeer評価に統合することの有効性を調査すること。
• リアルタイムの使いやすさフィードバックを活用したデータドリブンな設計反復によって、学生の学習を支援すること。
• 眼動追跡データがM.Sc. HCIコースにおける設計の質と学生の学習成果に与える影響を評価すること。
• フリップ・ラーニングと実証的評価を組み合わせた、スケーラブルで技術強化型の教育的モデルを構築すること。

提案手法

• 学生は各ワークショップの前に対象となる動画コンテンツとLMSで配布された教材を事前に受講したフリップ・クラスルームモデルに参加した。
• 12回の短いワークショップが実施され、最終段階では4回にわたる連続したワークショップを通じてグループがインタラクティブシステムの設計と評価を実施した。
• 学生は6つのグループに分けられ、各グループは3〜4名のメンバーで構成され、創造性を刺激するような曖昧なシステム仕様が与えられた。
• 各グループは限定的な機能を持つ動作可能なプロトタイプを開発し、眼動追跡技術を用いたPeer評価を実施した。
• Peer評価から得られた眼動追跡データを分析し、その後のプロトタイプのバージョンにおける反復的設計改善の指針とした。
• 学生の進捗状況は、クイズ、Peer評価、および設計プロセスに関する質的フィードバックを通じて評価された。

実験結果

リサーチクエスチョン

• RQ1 Peer評価に眼動追跡データを統合することにより、学生が設計したインタラクティブシステムの質にどのような影響を与えるか？
• RQ2 眼動追跡によるデータドリブンなフィードバックは、学生の設計思考と使いやすさへの意識をどの程度向上させるか？
• RQ3 学生の視点から見た眼動追跡の使用における主な利点と課題は何か？
• RQ4 フリップ・クラスルームモデルは、実証的評価手法と組み合わせることで、HCIデザインの原則へのより深い関与をどのように支援するか？

主な発見

• 眼動追跡データの分析により、学生のプロトタイプが複数回の反復において明確な設計の質の向上を示した。視認のための視線移動時間の短縮と、タスクの効率的完了が確認された。
• 眼動追跡データの活用により、単なる非公式なテストでは明らかにならなかった使いやすさの問題を学生が特定・解決できた。
• データドリブンなフィードバックを受けた後、学生は設計意思決定に対する自信が増し、ユーザー中心設計の原則への理解が深まったと報告した。
• 眼動追跡を活用したPeer評価プロセスは、協働学習を促進し、設計選択についての批判的思考を促進した。
• 学生からの質的フィードバックでは、フリップ・ラーニングと実証的評価の組み合わせが、関与度と学習成果を顕著に向上させたと述べられた。
• 眼動追跡を根拠とした反復的設計プロセスにより、最終段階のプロトタイプではより直感的かつ使いやすいインターフェースが実現された。