[논문 리뷰] Measuring Teachers' Visual Expertise Using the Gaze Relational Index Based on Real-world Eye-tracking Data and Varying Velocity Thresholds

Christian Kosel, Angelina Mooseder외 2명|arXiv (Cornell University)|2023. 04. 11.

Gaze Tracking and Assistive Technology인용 수 5

한 줄 요약

이 연구는 실생활 모바일 눈동자 추적 데이터를 활용하여 교사의 시각 전문성 수준을 측정하기 위해 평균 정지 지속 시간과 평균 정지 횟수의 비율인 '시각 관계 지수(Gaze Relational Index, GRI)'라는 새로운 지표를 제안한다. 결과적으로 경험이 많은 교사들은 유의미하게 낮은 GRI를 보이며, 이는 정교한 영역 특화 지식과 연관된 더 빠르고 빈번한 정지 행동을 의미한다. 또한 속도 임계값 설정이 결과에 크게 영향을 미치므로, 눈동자 추적 방법론에 대한 투명성이 요구된다.

ABSTRACT

This article adds to the understanding of teachers' visual expertise by measuring visual information processing in real-world classrooms (mobile eye-tracking) with the newly introduced Gaze Relational Index (GRI) metric, which is defined as the ratio of mean fixation duration to mean fixation number. In addition, the aim was to provide a methodological contribution to future research by showing to what extent the selected configurations (i.e. varying velocity thresholds and fixation merging) of the eye movement event detection algorithm for detecting fixations and saccades influence the results of eye-tracking studies. Our study leads to two important take-home messages: First, by following a novice-expert paradigm (2 novice teachers & 2 experienced teachers), we found that the GRI can serve as a sensitive measure of visual expertise. As hypothesized, experienced teachers' GRI was lower, suggesting that their more fine-graded organization of domain-specific knowledge allows them to fixate more rapidly and frequently in the classroom. Second, we found that the selected velocity threshold parameter alter and, in the worst case, bias the results of an eye-tracking study. Therefore, in the interest of further generalizability of the results within visual expertise research, we emphasize that it is highly important to report configurations that are relevant for the identification of eye movements.

연구 동기 및 목표

• 실생활 수업 환경에서 교사의 시각 전문성을 측정하기 위한 새로운 지표인 시각 관계 지수(Gaze Relational Index, GRI)를 개발하고 검증하는 것.
• 눈동자 운동 탐지 과정에서 속도 임계값 설정의 변동이 교육 연구에서 눈동자 추적 결과의 신뢰성과 타당성에 미치는 영향을 조사하는 것.
• 실제 수업 환경에서 모바일 눈동자 추적을 활용해 신입 교사와 숙련 교사 간의 시각 주의 패턴을 비교하는 것.
• 재현 가능성과 일반화 가능성을 높이기 위해 눈동자 추적 알고리즘 설정의 구체적 보고 필요성을 강조함으로써 방법론적 투명성을 증진하는 것.

제안 방법

• 시각 관계 지수(GRI)는 관찰 기간 동안 평균 정지 지속 시간을 평균 정지 횟수로 나눈 비율로 계산된다.
• 실제 수업 중에 네 명의 교사—신입 교사 두 명과 숙련 교사 두 명—의 모바일 눈동자 추적 데이터를 수집하였다.
• 눈동자 운동 이벤트(정지 및 순간 이동)는 다양한 속도 임계값과 정지 병합 파라미터를 가진 알고리즘을 사용하여 탐지하였다.
• 연구는 GRI 값과 전체 데이터 해석에 미치는 영향을 평가하기 위해 속도 임계값을 체계적으로 변화시켰다.
• GRI가 교사의 전문성 수준을 어떻게 구분하는지 평가하기 위해 신입-숙련자 비교 프레임워크를 적용하였다.
• 통계 분석을 통해 다양한 알고리즘 설정 구성에서 신입 교사와 숙련 교사 간의 GRI 값을 비교하였다.

실험 결과

연구 질문

• RQ1 시각 관계 지수(Gaze Relational Index, GRI)는 실수업 환경에서 교사의 시각 주의 패턴 측면에서 신입 교사와 숙련 교사를 효과적으로 구분할 수 있는가?
• RQ2 눈동자 운동 탐지 알고리즘에서 속도 임계값 설정의 변화가 계산된 GRI 값과 그 해석에 어떤 영향을 미치는가?
• RQ3 알고리즘 설정 구성의 선택이 교육적 맥락에서 눈동자 추적 연구 결과에 편향 또는 왜곡을 초래할 정도로 영향을 미치는가?
• RQ4 GRI는 실생활 수업 환경에서 시각 전문성의 신뢰성 있고 민감한 지표로 기능할 수 있는가?

주요 결과

• 경험 많은 교사들은 신입 교사보다 유의미하게 낮은 시각 관계 지수(Gaze Relational Index, GRI)를 보였으며, 이는 더 빠르고 빈번한 정지를 의미한다.
• GRI는 시각 처리 전략의 차이를 효과적으로 포착하여, 이 지표가 시각 전문성의 민감한 측정 도구로 활용될 수 있음을 뒷받침한다.
• 속도 임계값 설정의 변화가 GRI 값에 크게 영향을 미치며, 일부 설정에서는 체계적인 편향을 유발하였다.
• 이 연구는 속도 임계값 선택이 눈동자 추적 연구에서 중요한 방법론적 요소이며 결과를 왜곡할 수 있음을 입증한다.
• 재현 가능성과 일반화 가능성을 확보하기 위해 특정 알고리즘 설정—특히 속도 임계값—의 보고가 필수적임을 확인하였다.
• 결과는 눈동자 추적 연구에서 방법론적 투명성을 확보하기 위해 표준화된 보고 관행이 필요하다는 점을 강조한다.