[论文解读] Measuring Teachers' Visual Expertise Using the Gaze Relational Index Based on Real-world Eye-tracking Data and Varying Velocity Thresholds

Christian Kosel, Angelina Mooseder+2 more|arXiv (Cornell University)|Apr 11, 2023

Gaze Tracking and Assistive Technology被引用 5

一句话总结

本研究提出了一种名为注视关系指数（Gaze Relational Index, GRI）的新指标——即平均注视时长与平均注视次数的比值——用于利用真实课堂环境中的移动眼动追踪数据衡量教师的视觉专长。结果显示，经验丰富的教师表现出显著更低的GRI，表明其注视更快、更频繁，这与精细化的领域特定知识相关；而速度阈值的选择对结果影响重大，强调了眼动追踪方法论中透明度的重要性。

ABSTRACT

This article adds to the understanding of teachers' visual expertise by measuring visual information processing in real-world classrooms (mobile eye-tracking) with the newly introduced Gaze Relational Index (GRI) metric, which is defined as the ratio of mean fixation duration to mean fixation number. In addition, the aim was to provide a methodological contribution to future research by showing to what extent the selected configurations (i.e. varying velocity thresholds and fixation merging) of the eye movement event detection algorithm for detecting fixations and saccades influence the results of eye-tracking studies. Our study leads to two important take-home messages: First, by following a novice-expert paradigm (2 novice teachers & 2 experienced teachers), we found that the GRI can serve as a sensitive measure of visual expertise. As hypothesized, experienced teachers' GRI was lower, suggesting that their more fine-graded organization of domain-specific knowledge allows them to fixate more rapidly and frequently in the classroom. Second, we found that the selected velocity threshold parameter alter and, in the worst case, bias the results of an eye-tracking study. Therefore, in the interest of further generalizability of the results within visual expertise research, we emphasize that it is highly important to report configurations that are relevant for the identification of eye movements.

研究动机与目标

• 开发并验证一种新指标——注视关系指数（Gaze Relational Index, GRI），用于衡量真实课堂环境中教师的视觉专长。
• 研究眼动检测过程中速度阈值设置的差异如何影响教育研究中文眼动追踪结果的可靠性和有效性。
• 利用真实课堂环境中移动眼动追踪技术，比较新手教师与专家教师的视觉注意力模式。
• 通过强调报告特定眼动追踪算法配置的重要性，促进方法论透明化，以确保研究的可重现性与可推广性。

提出的方法

• 注视关系指数（GRI）计算为每个观察时段内平均注视时长与平均注视次数的比值。
• 从四名教师（两名新手，两名经验丰富的教师）在真实课堂教学过程中的移动眼动追踪数据中收集了眼动数据。
• 使用具有不同速度阈值和注视合并参数的算法检测眼动事件（注视与扫视）。
• 本研究系统性地改变速度阈值，以评估其对GRI值及整体数据解读的影响。
• 采用新手-专家对比范式，评估GRI是否能够有效区分教学专长水平的差异。
• 通过统计分析比较不同算法配置下新手教师与专家教师的GRI值。

实验结果

研究问题

• RQ1 注视关系指数（GRI）是否能有效区分新手与专家教师在课堂教学过程中的视觉注意力模式？
• RQ2 眼动检测算法中速度阈值设置的差异如何影响计算出的GRI值及其解释？
• RQ3 算法配置的选择在多大程度上会引入偏差或扭曲教育情境中文眼动追踪研究的结果？
• RQ4 GRI能否作为真实教学环境中视觉专长的可靠且敏感的指标？

主要发现

• 与新手教师相比，经验丰富的教师表现出显著更低的注视关系指数（GRI），表明其注视更快、更频繁。
• GRI有效捕捉到了视觉处理策略的差异，支持其作为视觉专长敏感指标的使用。
• 速度阈值设置的差异显著改变了GRI值，部分配置甚至引入了系统性偏差。
• 本研究表明，速度阈值的选择是眼动追踪研究中一个关键的方法论因素，可能扭曲研究发现。
• 报告具体的算法配置（尤其是速度阈值）对于视觉专长研究的可重现性与可推广性至关重要。
• 研究结果强调了在眼动追踪研究中建立标准化报告实践的必要性，以确保方法论透明。