[論文レビュー] Dermatologist-like explainable AI enhances melanoma diagnosis accuracy: eye-tracking study

Tirtha Chanda, Sarah Haggenmueller+20 more|arXiv (Cornell University)|Sep 20, 2024

Cutaneous Melanoma Detection and ManagementMedicine被引用数 3

ひとこと要約

本研究では、皮膚科医に似た説明可能なAI（XAI）システムが、メラノーマ診断における分野固有の視覚的説明を提供する仕組みを評価した。76名の皮膚科医を対象とした眼動測定により、XAIは標準的なAIに比べてバランス型診断正確度を2.8ポイント向上させ、診断の不一致を低減し、複雑な症例ではより多くの注視点が生じることで認知的負荷が増加することが明らかになった。

ABSTRACT

Artificial intelligence (AI) systems have substantially improved dermatologists' diagnostic accuracy for melanoma, with explainable AI (XAI) systems further enhancing clinicians' confidence and trust in AI-driven decisions. Despite these advancements, there remains a critical need for objective evaluation of how dermatologists engage with both AI and XAI tools. In this study, 76 dermatologists participated in a reader study, diagnosing 16 dermoscopic images of melanomas and nevi using an XAI system that provides detailed, domain-specific explanations. Eye-tracking technology was employed to assess their interactions. Diagnostic performance was compared with that of a standard AI system lacking explanatory features. Our findings reveal that XAI systems improved balanced diagnostic accuracy by 2.8 percentage points relative to standard AI. Moreover, diagnostic disagreements with AI/XAI systems and complex lesions were associated with elevated cognitive load, as evidenced by increased ocular fixations. These insights have significant implications for clinical practice, the design of AI tools for visual tasks, and the broader development of XAI in medical diagnostics.

研究の動機と目的

• 説明可能なAI（XAI）が皮膚科医のメラノーマ検出における診断正確度および意思決定に与える影響を評価すること。
• 眼動測定指標を用いて、XAIが診断中の臨床医の認知的負荷に与える影響を評価すること。
• 実臨床環境下での標準AIとXAIシステムの診断パフォーランスを比較すること。
• 皮膚鏡画像における診断の自信、不一致、複雑さと関連する眼動画のパターンを同定すること。
• 皮膚科医に似た推論と説明を模倣するモデルを用いて、今後の医療画像分野におけるXAIツールの設計を支援すること。

提案手法

• 76名の皮膚科医が、独自のXAIシステムを用いて16枚のメラノーマおよび母斑の皮膚鏡画像を診断するリーダースタディを実施した。
• XAIシステムは、AI予測の詳細な分野固有の説明を提供し、皮膚科医の推論を模倣した。
• 眼動測定技術を用いて、診断中の注視点、移動、注視時間の長さを記録し、認知的関与度を定量化した。
• 両方の条件（標準AIおよびXAI）において、診断正確度、AIとの合意度、注視パターンを分析した。
• クラスの不均衡を考慮するため、バランス型正確度は感度と特異度の調和平均として計算した。
• 統計的分析により、標準AIとXAIモダリティ間でのパフォーマンスおよび認知的負荷指標の差を比較した。

実験結果

リサーチクエスチョン

• RQ1 皮膚科医に似た説明可能なAIシステムは、メラノーマ検出において標準AIに比べて診断正確度を向上させるか？
• RQ2 XAIの説明が、眼動測定指標で測定された皮膚科医の認知的負荷にどのように影響するか？
• RQ3 複雑な病変では、AIシステムとの診断不一致が頻発するか、認知的負荷が高くなるか。XAIはその影響をどのように軽減するか？
• RQ4 皮膚科医がXAIと標準AIツールを使用する際の眼の注視パターンに、どの程度の差が生じるか？
• RQ5 XAIの説明は、診断の不確実性を低減させ、困難な皮膚鏡画像の診断の一貫性を向上させるか？

主な発見

• XAIシステムは、標準AIに比べてバランス型診断正確度を2.8ポイント向上させた。
• 皮膚科医はAIの予測と合意しない場合、顕著に注視点の数が多くなり、認知的負荷が増加していることが示された。
• 複雑な病変では、特に説明のない標準AIを使用する際、より多くの注視点と長い意思決定時間が生じた。
• XAIの説明が存在する状況では、診断の不一致が減少し、全症例にわたる意思決定の一貫性が向上した。
• 眼動測定データから、XAIを利用した医師は、関連する診断的特徴に長時間注視しており、臨床的推論とより一致していることが示された。
• 本研究では、XAIが正確度を向上させるだけでなく、皮膚科分野における意思決定の透明性と信頼性を高める支援をしていることが明らかになった。