[論文レビュー] Instance-level quantitative saliency in multiple sclerosis lesion segmentation

Federico Spagnolo, Nataliia Molchanova+6 more|arXiv (Cornell University)|Jun 13, 2024

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文は、MRIにおける複数の多発性硬化症（MS）白質病変の3D U-Netベースの意味的セグメンテーションに適応した2つのインスタンスレベルの説明可能なAI（XAI）手法—SmoothGradおよびGrad-CAM++—を提案する。病変検出がFLAIR強調パターンに強く依存しており、周囲組織の約7mmのコンテキストが必要であることが明らかになった。また、類似度マップは真陽性、偽陽性、偽陰性を定量的に区別できることが示された。

ABSTRACT

Explainable artificial intelligence (XAI) methods have been proposed to interpret model decisions in classification and, more recently, in semantic segmentation. However, instance-level XAI for semantic segmentation, namely explanations focused on a single object among multiple instances of the same class, remains largely unexplored. Such explanations are particularly important in multi-lesional diseases to understand what drives the detection and contouring of a specific lesion. We propose instance-level explanation maps for semantic segmentation by extending SmoothGrad and Grad-CAM++ to obtain quantitative instance saliency. These methods were applied to the segmentation of white matter lesions (WMLs), a magnetic resonance imaging biomarker in multiple sclerosis. We used 4023 FLAIR and MPRAGE MRI scans from 687 patients collected at the University Hospital of Basel, Switzerland, with WML masks annotated by four expert clinicians. Three deep learning architectures, a 3D U-Net, nnU-Net, and Swin UNETR, were trained and evaluated, achieving normalized Dice scores of 0.71, 0.78, and 0.80, respectively. Instance saliency maps showed that the models relied primarily on FLAIR rather than MPRAGE for WML segmentation, with positive saliency inside lesions and negative saliency in their immediate neighborhood, consistent with clinical practice. Peak saliency values differed significantly across correct and incorrect predictions, suggesting that quantitative instance saliency may help identify segmentation errors. In conclusion, we introduce two architecture-agnostic XAI methods that provide quantitative instance-level explanations for semantic segmentation and support clinically meaningful interpretation of model decisions.

研究の動機と目的

• 医療画像におけるディープラーニングベースの意味的セグメンテーションにおいて、インスタンスレベルの説明可能性が不足している問題に対処すること。
• 複数のインスタンスが存在する中で、3D U-Netモデルが個々のMS病変を検出・セグメンテーションする際にどのように意思決定を行うかを調査すること。
• 真陽性、偽陽性、偽陰性、真陰性の病変ボリュームにおける類似度パターンを分析することで、モデルの脆弱性を同定すること。
• 合成病変実験を用いて、正確な病変セグメンテーションに必要な最小限の周囲組織要件を同定すること。
• モデルの検証、最適化、臨床統合を支援するため、定量的かつインスタンス固有の説明を提供すること。

提案手法

• 勾配に基づく類似度マップを生成するため、3D意味的セグメンテーションに適応したSmoothGradおよびGrad-CAM++を採用。
• 専門家がアノテートした病変マスクを用いて、687例のMS患者（4043例のFLAIRおよびMPRAGEスキャン）の3D U-Netを学習。
• 入力としてFLAIRおよびMPRAGEシーケンスを別々に使用し、各モodalの予測への寄与度を評価。
• 背景、白質、および部分的な周囲組織を有する位置に合成病変を配置することで、モデルの感受性をテストするアブレーションスタディを実施。
• 病変周囲のコンテキスト組織量を拡大変換（dilation）によって系統的に変化させ、予測の信頼性および類似度分布への影響を測定。
• 真陽性（TP）、偽陽性（FP）、偽陰性（FN）、真陰性（TN）ボリュームにおける類似度ピーク分布を定量的に評価し、モデルの注目パターンと誤検出の検出可能性を分析。

実験結果

リサーチクエスチョン

• RQ1 SmoothGradおよびGrad-CAM++は、3D U-NetがMS病変セグメンテーションにおいて意思決定を行うプロセスをどのようにインスタンスレベルの類似度マップで明らかにするか？
• RQ2 どのMRIシーケンス（FLAIRまたはMPRAGE）が病変検出により顕著に寄与しているか？その寄与度は類似度マップにどのように反映されるか？
• RQ3 類似度マップのパターンは、真陽性、偽陽性、偽陰性の病変予測を定量的に意味的に区別できるか？
• RQ4 信頼性ある病変セグメンテーションに必要な最小限の周囲組織量は何か？また、これはモデルの信頼性にどのように影響するか？
• RQ5 異なる解剖的コンテキスト（例：背景対白質）に配置された合成病変は、モデルの注目度と予測信頼性にどのように影響するか？

主な発見

• SmoothGradに基づく類似度マップでは、病変内に正の値、直近の周囲組織に負の値が観察され、病変内での強度上昇と周囲組織での低下が病変予測を支持していることが示された。
• FLAIRシーケンスは、すべての病変タイプ（TP、FP、FN、TN）において、MPRAGEに比べてモデル予測に顕著に大きな影響を与えており、これは強い類似度勾配によって裏付けられている。
• TP、FP、FN、TNボリュームにおける類似度ピーク分布は統計的に有意に異なることが判明し、類似度パターンが正しいと誤った予測を定量的に区別できることを示している。
• 背景で囲まれた人工的・孤立病変（黒色背景）は検出されなかった。これは、信頼性あるセグメンテーションに少なくとも約7mmの周囲組織が必要であることを示している。
• 予測スコアは病変縁から12–15mmで頭打ちとなり、この距離を超えると追加のコンテキスト組織はセグメンテーション信頼性の向上に寄与しなくなった。
• モデルがFLAIRの局所的強調パターンに依存しており、受容 field が限定的であることを踏まえると、96mm³のパッチサイズは、12–15mmのコンテキストを超えて性能が頭打ちになることから、多くの病変に対しては不必要に大きい可能性がある。