[논문 리뷰] Dermatologist-like explainable AI enhances melanoma diagnosis accuracy: eye-tracking study

Tirtha Chanda, Sarah Haggenmueller외 20명|arXiv (Cornell University)|2024. 09. 20.

Cutaneous Melanoma Detection and ManagementMedicine인용 수 3

한 줄 요약

이 연구는 피부과 전문의와 유사한 설명 가능한 인공지능(XAI) 시스템이 메라노마 진단을 위한 도메인 특화 시각적 설명을 제공하는지 평가한다. 76명의 피부과 전문의를 대상으로 한 눈의 움직임 추적을 통해 XAI는 표준 AI 대비 균형 잡힌 진단 정확도를 2.8%p 향상시키며, 진단 간 불일치를 줄이고, 복잡한 케이스에서 더 높은 인지 부하를 드러내는 빈도 높은 정지(fixations)를 보여준다.

ABSTRACT

Artificial intelligence (AI) systems have substantially improved dermatologists' diagnostic accuracy for melanoma, with explainable AI (XAI) systems further enhancing clinicians' confidence and trust in AI-driven decisions. Despite these advancements, there remains a critical need for objective evaluation of how dermatologists engage with both AI and XAI tools. In this study, 76 dermatologists participated in a reader study, diagnosing 16 dermoscopic images of melanomas and nevi using an XAI system that provides detailed, domain-specific explanations. Eye-tracking technology was employed to assess their interactions. Diagnostic performance was compared with that of a standard AI system lacking explanatory features. Our findings reveal that XAI systems improved balanced diagnostic accuracy by 2.8 percentage points relative to standard AI. Moreover, diagnostic disagreements with AI/XAI systems and complex lesions were associated with elevated cognitive load, as evidenced by increased ocular fixations. These insights have significant implications for clinical practice, the design of AI tools for visual tasks, and the broader development of XAI in medical diagnostics.

연구 동기 및 목표

• 설명 가능한 인공지능(XAI)이 피부과 전문의의 메라노마 검출 진단 정확도 및 의사결정 과정에 미치는 영향을 평가하는 것.
• 눈의 움직임 추적 지표를 활용해 XAI가 임상의의 인지 부하에 미치는 영향을 평가하는 것.
• 실제 임상 상황에서 표준 AI와 XAI 시스템 간의 진단 성능을 비교하는 것.
• 피부경화 영상에서 진단 신뢰도, 불일치 또는 복잡성과 관련된 눈의 움직임 패턴을 규명하는 것.
• 피부과 전문의와 유사한 추론 및 설명 방식을 모델링하여 향후 의료 영상 분야의 XAI 도구 설계에 정보를 제공하는 것.

제안 방법

• 76명의 피부과 전문의가 고유의 XAI 시스템을 사용하여 16개의 메라노마 및 날개종 피부경화 영상을 진단하는 독자 연구를 실시하였다.
• XAI 시스템은 AI 예측에 대해 도메인 특화된 세부 설명을 제공하여 피부과 전문의의 추론 방식을 시뮬레이션하였다.
• 눈의 움직임 추적 기술을 통해 진단 중 정지, 이동 및 정지 지속 시간을 기록하여 인지 참여도를 정량화하였다.
• 표준 AI 및 XAI 조건 간 진단 정확도, AI 예측과의 일치도, 정지 패턴을 분석하였다.
• 클래스 불균형을 고려하기 위해 균형 잡힌 정확도는 민감도와 특이도의 조화 평균으로 계산되었다.
• 통계 분석을 통해 표준 AI 및 XAI 모odal 간 성능 및 인지 부하 지표를 비교하였다.

실험 결과

연구 질문

• RQ1 피부과 전문의와 유사한 설명 가능한 인공지능(XAI) 시스템을 사용할 경우, 표준 AI 대비 메라노마 진단 정확도가 향상되는가?
• RQ2 XAI 설명의 존재가 눈의 움직임 추적 지표로 측정된 피부과 전문의의 인지 부하에 어떤 영향을 미치는가?
• RQ3 복잡한 병변에서 AI 시스템과의 진단 불일치가 더 자주 발생하거나 인지적으로 더 부담스러운가, 그리고 XAI는 이를 어떻게 완화하는가?
• RQ4 피부과 전문의가 XAI를 사용할 경우와 표준 AI 도구를 사용할 경우 눈의 정지 패턴이 얼마나 다를까?
• RQ5 XAI 설명은 진단의 불확실성을 줄이고 도전적인 피부경화 영상에서 일관성 있는 결론 도출을 향상시킬 수 있는가?

주요 결과

• XAI 시스템은 표준 AI 대비 균형 잡힌 진단 정확도를 2.8%p 향상시켰다.
• 피부과 전문의가 AI 예측과 불일치할 경우 눈의 정지 횟수가 유의미하게 증가하여 더 높은 인지 부하를 나타냈다.
• 복잡한 병변은 더 많은 정지와 더 긴 결론 도출 시간을 유도하였으며, 특히 설명이 없는 표준 AI를 사용할 경우 더욱 두드러졌다.
• XAI 설명의 존재는 진단 불일치를 감소시키고 모든 케이스에서 더 일관된 결론 도출을 가능하게 하였다.
• 눈의 움직임 추적 데이터는 XAI 사용자가 관련 진단 특징에 더 오랜 시간 머무르며 임상적 추론과 더 잘 일치하는 것으로 나타났다.
• 이 연구는 XAI가 정확도 향상 외에도 피부과 분야에서 투명하고 신뢰할 수 있는 의사결정을 지원한다는 점을 입증하였다.