[논문 리뷰] Teaching HCI Design in a Flipped Learning M.Sc. Course Using Eye-Tracking Peer Evaluation Data

Michalis Xenos, Maria Rigou|arXiv (Cornell University)|2019. 03. 04.

Innovative Teaching Methods참고 문헌 29인용 수 4

한 줄 요약

이 논문은 눈동자 추적 데이터를 동료 평가에 통합하여 반복적인 설계 개선을 이끄는 히브리지 디자인 교육을 위한 뒤집힌 수업 구조의 M.Sc. 과정을 제시한다. 학생들은 그룹을 이루어 상호작용 시스템을 프로토타yped하고, 눈동자 추적 기술을 사용해 사용성 평가를 실시하며, 데이터 기반 피드백에 기반해 설계를 반복적으로 개선하였다. 그 결과 설계 품질 향상이 측정 가능하게 나타났고, 학생 평가도 긍정적이었다.

ABSTRACT

This paper presents experiences from a flipped classroom M.Sc. course on Human-Computer Interaction (HCI). The students that finished successfully this course participated in twelve short workshops, based on a flipped classroom model. Each workshop focused on a specific HCI activity, while before the workshops, a two-hour lecture was used to introduce the students in the flipped learning concept. All the rest of the educational material was offered to the students online before each workshop. Such material was mainly short lectures from the professor, in the form of videos uploaded in the course's YouTube channel and documents delivered using the university learning management system (LMS). For each workshop the students had to be prepared to participate, which was tested using brief quizzes before the start of specific workshops. The activity presented in this paper was the design and evaluation of an interactive system. The students were asked to form six groups comprising of three to four students each. Then a system's description, vague enough to stimulate creativity, was randomly assigned to each group. This activity presented in this paper was the longest activity of the entire course and it was conducted in four consequent workshops. The paper presents the setting of this experiment, the peer assessment method and the use of eye-tracking data collected and analysed to aid the students towards improving their design. The students created a working model of the system with limited functionality and improved this model using eye-tracking data from the peer evaluation of this model. The use of these data offered them the insight to improve their models and to undergo design changes. The paper presents samples of the progress made between various versions of the models and concludes presenting the preliminary positive results of the students qualitative evaluation of this experiment.

연구 동기 및 목표

• 뒤집힌 수업 환경에서 눈동자 추적 데이터를 동료 평가에 통합하여 HCI 디자인 교육의 효과성을 조사하는 것.
• 실시간 사용성 피드백을 활용한 데이터 기반 설계 반복을 통해 학생 학습을 지원하는 것.
• 눈동자 추적 데이터가 M.Sc. HCI 과정에서 설계 품질과 학생 학습 성과에 미치는 영향을 평가하는 것.
• 뒤집힌 학습과 경험적 평가를 결합한 기술 기반의 확장 가능한 교육 모델을 개발하는 것.

제안 방법

• 학생들은 각 워크숍 이전에 사전 강의 영상 자료와 LMS를 통한 자료를 제공받은 뒤 뒤집힌 수업 모델에 참여하였다.
• 12회의 짧은 워크숍이 진행되었으며, 마지막 활동은 네 번에 걸친 워크숍 동안 그룹이 상호작용 시스템을 설계하고 평가하는 것이었다.
• 학생들은 3~4명으로 구성된 6개의 그룹을 이루어 창의성을 자극하는 모호한 시스템 기술서를 할당받았다.
• 각 그룹은 기능이 제한된 기능성 프로토타입을 개발하고, 눈동자 추적 기술을 사용해 동료 평가를 수행하였다.
• 동료 평가에서 수집된 눈동자 추적 데이터를 분석하여 후속 프로토타입 버전의 반복적 설계 개선을 이끌었다.
• 학생들의 진도는 퀴즈, 동료 평가, 설계 과정에 대한 질적 피드백을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 눈동자 추적 데이터를 동료 평가에 통합할 경우 학생이 설계한 상호작용 시스템의 품질에 어떤 영향을 미치는가?
• RQ2 눈동자 추적 기반의 데이터 기반 피드백이 학생들의 설계 사고 방식과 사용성 인식에 얼마나 기여하는가?
• RQ3 학생들의 시각에서 눈동자 추적 기술을 뒤집힌 HCI 디자인 수업에 활용할 때의 잠재적 이점과 과제는 무엇인가?
• RQ4 뒤집힌 수업 모델이 경험적 평가 방법과 결합될 경우 HCI 디자인 원칙에 대한 깊은 참여를 어떻게 지원하는가?

주요 결과

• 눈동자 추적 데이터 분석 결과, 학생들의 프로토타입이 반복적으로 개선되면서 시각적 탐색 시간이 감소하고 작업 완료 효율성이 향상되어 설계 품질 향상이 명확하게 측정되었다.
• 눈동자 추적 데이터의 활용은 단순한 비공식적 테스트로는 발견되지 않았던 사용성 문제를 학생들이 식별하고 해결할 수 있도록 하였다.
• 데이터 기반 피드백을 받은 후 학생들은 설계 결정에 대한 자신감이 향상되고 사용자 중심 설계 원칙에 대한 이해도가 높아졌다고 보고하였다.
• 눈동자 추적 기술로 향상된 동료 평가 과정은 협업 학습과 설계 선택에 대한 비판적 반성을 촉진하였다.
• 학생들의 질적 피드백에 따르면, 뒤집힌 학습과 경험적 평가의 조합이 학생들의 참여도와 학습 성과를 크게 향상시켰다.
• 눈동자 추적 기반의 반복적 설계 과정을 거친 최종 프로토타입은 더 직관적이고 사용자 友好的한 인터페이스를 갖추게 되었다.