[论文解读] Gaze2Segment: A Pilot Study for Integrating Eye-Tracking Technology into Medical Image Segmentation

Naji Khosravan, Haydar Çelik+10 more|arXiv (Cornell University)|Aug 10, 2016

Visual Attention and Saliency Detection参考文献 8被引用 7

一句话总结

Gaze2Segment 提出了一种新颖的全自动医学图像分割系统，通过整合放射科医生的眼动追踪数据与计算机生成的显著性图，引导肺部 CT 扫描中的基于种子的分割。通过结合眼动追踪所获得的视觉注意力与局部显著性提供的图像上下文信息，该方法在无需额外用户交互的情况下实现了 86% 的 Dice 相似系数和 1.45 mm 的 Hausdorff 距离，标志着眼动追踪技术首次真正融入定量医学图像分割。

ABSTRACT

This study introduced a novel system, called Gaze2Segment, integrating biological and computer vision techniques to support radiologists' reading experience with an automatic image segmentation task. During diagnostic assessment of lung CT scans, the radiologists' gaze information were used to create a visual attention map. This map was then combined with a computer-derived saliency map, extracted from the gray-scale CT images. The visual attention map was used as an input for indicating roughly the location of a object of interest. With computer-derived saliency information, on the other hand, we aimed at finding foreground and background cues for the object of interest. At the final step, these cues were used to initiate a seed-based delineation process. Segmentation accuracy of the proposed Gaze2Segment was found to be 86% with dice similarity coefficient and 1.45 mm with Hausdorff distance. To the best of our knowledge, Gaze2Segment is the first true integration of eye-tracking technology into a medical image segmentation task without the need for any further user-interaction.

研究动机与目标

• 开发一种利用放射科医生眼动模式作为生物输入，以引导自动医学图像分割的系统。
• 通过将眼动追踪作为实时、非侵入性的定位线索，解决分割过程中的识别阶段问题。
• 结合人类视觉注意力与计算机视觉显著性，提升分割精度，且无需手动干预。
• 证明将眼动追踪集成到临床读片工作流程中以实现定量图像分析的可行性。

提出的方法

• 使用 MobileEye XG 系统实时进行眼动追踪，以 60 Hz 的频率记录 CT 扫描上的注视坐标，并通过校准将眼动数据与图像坐标对齐。
• 去除抖动并稳定注视点，以过滤掉不自主的眼动，提高注视坐标精度。
• 基于注视持续时间与频率，从眼动数据生成视觉注意力图，以识别感兴趣区域。
• 从灰度 CT 图像中计算计算机生成的局部显著性图与梯度图，以提取前景与背景线索。
• 利用眼动注意力与显著性图的联合线索启动基于种子的分割，自动完成感兴趣区域的边界勾画。
• 对眼动追踪与影像数据进行离线处理，生成分割结果，读片过程中无需实时反馈。

实验结果

研究问题

• RQ1 放射科医生的眼动信息能否有效用于引导肺部 CT 扫描的自动分割？
• RQ2 将人类视觉注意力与计算机生成的显著性结合，如何提升分割精度？
• RQ3 眼动追踪在多大程度上可以替代医学图像分割中的手动种子放置？
• RQ4 在无需额外用户交互的情况下，眼动追踪集成到分割流程中是否可行？

主要发现

• Gaze2Segment 系统在分割任务中实现了 86% 的平均 Dice 相似系数，表明与真实标注具有高度重叠。
• 平均 Hausdorff 距离为 1.45 mm，反映出边界勾画具有较高的空间精度。
• 未发现 Gaze2Segment 结果与手动种子放置或交互式区域生长结果之间存在统计学上显著差异（p > 0.05）。
• 经验较少的放射科医生表现出更广泛且不集中的注意力模式，而专家则更集中地注视病灶区域。
• 注意力图显示，即使非病灶区域若出现长时间注视，也可能被误分割为潜在病灶，表明需要引入假阳性过滤机制。
• 该系统证明了将眼动数据作为生物输入用于自动分割的可行性，具备在临床环境中实时部署的潜力。