[論文レビュー] MProtoNet: A Case-Based Interpretable Model for Brain Tumor Classification with 3D Multi-parametric Magnetic Resonance Imaging

Yuanyuan Wei, Roger Tam+1 more|arXiv (Cornell University)|Apr 13, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

MProtoNet は、3DマルチパラメトリックMRIを用いた脳腫瘍分類のための新規ケースベース解釈可能なディープラーニングモデルであり、ProtoPNet を医療画像に拡張し、ソフトマスキングとオンライン-CAM損失を用いた新しいアテンションモジュールを導入した。トレーニング中に人間によるラベル付けが不要であるが、最高のアクティベーション精度 0.713 ± 0.058 を達成し、最先端の解釈可能性を実現した。

ABSTRACT

Recent applications of deep convolutional neural networks in medical imaging raise concerns about their interpretability. While most explainable deep learning applications use post hoc methods (such as GradCAM) to generate feature attribution maps, there is a new type of case-based reasoning models, namely ProtoPNet and its variants, which identify prototypes during training and compare input image patches with those prototypes. We propose the first medical prototype network (MProtoNet) to extend ProtoPNet to brain tumor classification with 3D multi-parametric magnetic resonance imaging (mpMRI) data. To address different requirements between 2D natural images and 3D mpMRIs especially in terms of localizing attention regions, a new attention module with soft masking and online-CAM loss is introduced. Soft masking helps sharpen attention maps, while online-CAM loss directly utilizes image-level labels when training the attention module. MProtoNet achieves statistically significant improvements in interpretability metrics of both correctness and localization coherence (with a best activation precision of $0.713\pm0.058$) without human-annotated labels during training, when compared with GradCAM and several ProtoPNet variants. The source code is available at https://github.com/aywi/mprotonet.

研究の動機と目的

• 3DマルチパラメトリックMRIにおける脳腫瘍分類のための解釈可能なディープラーニングモデルの不足に対処すること。
• 空間的整合性が重要な3Dボリュームにおいて、医療画像におけるアテンションの局在化を改善すること。
• 人間によるラベル付けに依存せずに、属性マップとプロトタイプ解釈を両方提供するケースベース推論モデルを開発すること。
• 分類精度とは独立して、アクティベーション精度やインクリメンタルデリートスコアといった指標を用いて解釈可能性を評価すること。
• 複雑な3DMRIデータにおける関連腫瘍領域の局在化に限界を示すProtoPNetを3D医療画像に拡張すること。

提案手法

• 3DマルチパラメトリックMRIを用いた脳腫瘍分類のための、医療画像に拡張された初のプロトタイプネットワークとして MProtoNet を提案する。
• アテンションマップの鋭さを向上させ、局在化精度を改善するため、ソフトマスキングを用いた新しいアテンションモジュールを導入する。
• 画像レベルのラベルをトレーニング中に直接使用するオンライン-CAM損失を採用し、アテンション学習をガイドする。
• 分類性能の公平な比較を保証するため、すべてのモデルで3D ResNetバックボーンを共有する。
• 不要な領域を抑制することで空間的整合性を向上させるため、ソフトマスキングを用いてアテンションマップを精緻化する。
• バウンディングボックスやセグメンテーションのラベルが不要な画像レベルのラベルのみを用いて、エンドツーエンドでモデルをトレーニングする。

Figure 1: The overall architecture of MProtoNet. Online-CAM only occurs during training.

実験結果

リサーチクエスチョン

• RQ1 ケースベースプロトタイプネットワークは、3DマルチパラメトリックMRIを用いた脳腫瘍分類に効果的に拡張可能か？
• RQ2 ソフトマスキングとオンライン-CAM損失は、3D医療画像におけるアテンションの局在化と解釈可能性をどのように向上させるか？
• RQ3 提案された MProtoNet は、人間によるラベル付けが不要な状態で、GradCAM や ProtoPNet の変種よりも優れた解釈可能性を達成するか？
• RQ4 解釈可能性を向上させつつ、分類性能はどの程度維持されるか？
• RQ5 モデルは、正しくかつ空間的に整合性のあるアテンションマップとケースベースのプロトタイプ解釈を両方生成できるか？

主な発見

• MProtoNet C は 0.713 ± 0.058 の最高のアクティベーション精度を達成し、XProtoNet よりも顕著に優れていた（p < 0.001）。
• MProtoNet C のインクリメンタルデリートスコア（IDS）は 0.079 ± 0.034 であり、XProtoNet よりも統計的に有意な改善を示した（p = 0.031）。
• モデルはバランス精度 0.858 ± 0.048 を維持しており、ベースラインCNNやXProtoNetと同等の水準であり、分類性能の低下は確認されなかった。
• ソフトマスキングとオンライン-CAM損失が組み合わさることで、IDS およびアクティベーション精度の両方で統計的に有意な向上が得られ、両者の重要性が裏付けられた。
• 可視化結果から、MProtoNet C は特に複雑な3D腫瘍領域において、GradCAM やProtoPNetの変種よりも空間的に整合性が高く、局在化が明確なアテンションマップを生成していることがわかった。
• トレーニング中に人間によるラベル付けが一切不要であるにもかかわらず、優れた解釈可能性を達成しており、実世界の3D医療画像応用への強い可能性を示している。

Figure 2: Demonstration of the case-based reasoning in MProtoNet. It can provide case-based prototypical explanations with both attention maps and similarity scores.