[논문 리뷰] Dermatologist-like explainable AI enhances trust and confidence in diagnosing melanoma

Tirtha Chanda, Katja Hauser외 33명|arXiv (Cornell University)|2023. 03. 17.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 연구는 암세포병변 진단을 위한 국소적이고 도메인 특화된 텍스트 및 시각적 설명을 생성하는 피부과의사 유사 설명형 인공지능(XAI) 시스템을 개발한다. 기존의 AI와 비교해 피부과의사의 신뢰도와 진단 자신감을 크게 향상시키며, 임상의의 사고 방식과의 일치도 향상된다. 진단 정확도는 수치적으로는 향상되었으나 유의미하지는 않다.

ABSTRACT

Although artificial intelligence (AI) systems have been shown to improve the accuracy of initial melanoma diagnosis, the lack of transparency in how these systems identify melanoma poses severe obstacles to user acceptance. Explainable artificial intelligence (XAI) methods can help to increase transparency, but most XAI methods are unable to produce precisely located domain-specific explanations, making the explanations difficult to interpret. Moreover, the impact of XAI methods on dermatologists has not yet been evaluated. Extending on two existing classifiers, we developed an XAI system that produces text and region based explanations that are easily interpretable by dermatologists alongside its differential diagnoses of melanomas and nevi. To evaluate this system, we conducted a three-part reader study to assess its impact on clinicians' diagnostic accuracy, confidence, and trust in the XAI-support. We showed that our XAI's explanations were highly aligned with clinicians' explanations and that both the clinicians' trust in the support system and their confidence in their diagnoses were significantly increased when using our XAI compared to using a conventional AI system. The clinicians' diagnostic accuracy was numerically, albeit not significantly, increased. This work demonstrates that clinicians are willing to adopt such an XAI system, motivating their future use in the clinic.

연구 동기 및 목표

• AI 기반 암세포병변 진단의 투명성 부족으로 인해 임상적 도입이 저해되는 문제를 해결하기 위해.
• 피부과의사의 임상적 사고 방식과 일치하는 해석 가능하고 국소적인 설명을 제공하는 XAI 시스템을 개발하기 위해.
• 해당 XAI가 임상의의 진단 정확도, 자신감, AI 지원에 대한 신뢰도에 미치는 영향을 평가하기 위해.
• AI의 해석 가능성과 실제 임상적 의사결정 간 격차를 해소하기 위해.

제안 방법

• 기존의 두 개의 딥러닝 분류기를 확장하여 영역 기반 주의 맵과 자연어 설명을 동시에 생성하도록 구현하였다.
• 암세포병변 진단에 관련된 피부과적 특징(예: 비대칭성, 경계 불규칙성, 색소 변화 등)을 반영하도록 설명을 설계하였다.
• 이중 출력 메커니즘을 통합하여 차별진단(암세포병변 대비 날개종)과 핵심 특징에 대한 설명 가능한 텍스트 기술을 동시에 생성하였다.
• 전문 피부과의사의 주석과 비교하여 모델의 설명이 임상적 관련성과 일치하는지 검증하였다.
• 피부과의사를 대상으로 한 세 부분으로 구성된 독자 연구를 실시하여 진단 성능, 자신감, XAI 시스템에 대한 신뢰도를 평가하였다.

실험 결과

연구 질문

• RQ1 XAI 시스템은 암세포병변 진단에서 피부과의사의 임상적 사고 방식과 밀도 높은 일치를 보일 수 있는가?
• RQ2 피부과의사 유사 설명을 제공할 경우 임상의의 AI 진단 지원에 대한 신뢰도가 향상되는가?
• RQ3 XAI는 기존의 AI와 비교해 피부과의사의 진단 자신감을 어느 정도 향상시키는가?
• RQ4 XAI 사용으로 피부과의사의 진단 정확도에 측정 가능한 향상이 이루어지는가?

주요 결과

• XAI 시스템의 설명은 피부과의사가 스스로 제공하는 설명과 높은 일치도를 보이며, 강력한 임상적 관련성을 나타낸다.
• 피부과의사들은 XAI를 사용할 경우 기존의 AI와 비교해 신뢰도가 유의미하게 향상된다고 보고하였다.
• 정확도 향상이 통계적으로 유의미하지 않음에도 불구하고, XAI 시스템 사용 시 임상의의 진단 자신감은 유의미하게 높아졌다.
• XAI 사용 시 정확도는 수치적으로 향상되었으나, 연구 대상 집단 전체에서 통계적으로 유의미한 차이는 없었다.