[论文解读] Dermatologist-like explainable AI enhances melanoma diagnosis accuracy: eye-tracking study

Tirtha Chanda, Sarah Haggenmueller+20 more|arXiv (Cornell University)|Sep 20, 2024

Cutaneous Melanoma Detection and ManagementMedicine被引用 3

一句话总结

本研究评估了一种类皮肤科医生的可解释人工智能（XAI）系统，该系统为黑色素瘤诊断提供领域特定的视觉解释。通过使用76名皮肤科医生的眼动追踪实验，结果表明，XAI相较于标准AI将平衡诊断准确率提高了2.8个百分点，减少了诊断分歧，并通过增加注视次数揭示了复杂病例中更高的认知负荷。

ABSTRACT

Artificial intelligence (AI) systems have substantially improved dermatologists' diagnostic accuracy for melanoma, with explainable AI (XAI) systems further enhancing clinicians' confidence and trust in AI-driven decisions. Despite these advancements, there remains a critical need for objective evaluation of how dermatologists engage with both AI and XAI tools. In this study, 76 dermatologists participated in a reader study, diagnosing 16 dermoscopic images of melanomas and nevi using an XAI system that provides detailed, domain-specific explanations. Eye-tracking technology was employed to assess their interactions. Diagnostic performance was compared with that of a standard AI system lacking explanatory features. Our findings reveal that XAI systems improved balanced diagnostic accuracy by 2.8 percentage points relative to standard AI. Moreover, diagnostic disagreements with AI/XAI systems and complex lesions were associated with elevated cognitive load, as evidenced by increased ocular fixations. These insights have significant implications for clinical practice, the design of AI tools for visual tasks, and the broader development of XAI in medical diagnostics.

研究动机与目标

• 评估可解释人工智能（XAI）对皮肤科医生在黑色素瘤检测中诊断准确率和决策过程的影响。
• 利用眼动追踪指标评估XAI对临床医生在诊断过程中认知工作量的影响。
• 在真实临床场景中比较标准AI与XAI系统在诊断表现上的差异。
• 识别与皮肤镜图像诊断信心、分歧或复杂性相关的注视模式。
• 通过建模类皮肤科医生的推理与解释方式，为未来医学影像中XAI工具的设计提供依据。

提出的方法

• 开展了一项读者研究，76名皮肤科医生使用定制的XAI系统对16幅黑色素瘤和良性痣的皮肤镜图像进行诊断。
• XAI系统为AI预测提供详细且领域特定的解释，模拟皮肤科医生的推理过程。
• 眼动追踪技术记录了诊断过程中的眼动注视、扫视及注视时长，以量化认知参与程度。
• 在标准AI与XAI两种条件下，分析了诊断准确率、与AI的一致性以及注视模式。
• 平衡准确率通过敏感性与特异性的调和平均数计算，以应对类别不平衡问题。
• 统计分析比较了标准AI与XAI模式在性能和认知负荷指标上的差异。

实验结果

研究问题

• RQ1 与标准AI相比，使用类皮肤科医生的可解释人工智能系统是否能提高黑色素瘤检测中的诊断准确率？
• RQ2 XAI解释的存在如何通过眼动追踪指标影响皮肤科医生的认知工作量？
• RQ3 对于复杂病灶，与AI系统产生诊断分歧是否更频繁或认知负荷更高？XAI在多大程度上缓解了这一问题？
• RQ4 当皮肤科医生使用XAI与标准AI工具时，眼动注视模式在多大程度上存在差异？
• RQ5 XAI解释能否降低诊断不确定性，并在具有挑战性的皮肤镜图像中提高诊断的一致性？

主要发现

• 与标准AI相比，XAI系统将平衡诊断准确率提高了2.8个百分点。
• 当医生与AI预测不一致时，其眼动注视次数显著增加，表明认知负荷提高。
• 复杂病灶引发更多注视和更长的决策时间，尤其是在缺乏解释的标准AI模式下。
• XAI解释的存在与诊断分歧减少以及跨病例决策的一致性提高相关。
• 眼动追踪数据显示，XAI用户在相关诊断特征上花费了更多时间，表明其与临床推理更一致。
• 本研究证明，XAI不仅提高了诊断准确率，还支持了更透明、更可信的决策过程。