[論文レビュー] M3d-CAM: A PyTorch library to generate 3D data attention maps for medical deep learning

Karol Gotkowski, Camila González+2 more|arXiv (Cornell University)|Jul 1, 2020

COVID-19 diagnosis using AI参考文献 9被引用数 20

ひとこと要約

M3d-CAM は、医療分野のディープラーニングモデル向けに 3D および 2D の注意マップを簡単に生成できる PyTorch ライブラリです。分類およびセグメンテーションタスクをサポートしており、1行のインジェクションでスムーズに統合可能で、Grad-CAM、ガイドドバックプロパゲーション、ガイドドGrad-CAM、Grad-CAM++ といった複数の注意マップ生成手法を提供し、コード変更を最小限に抑えつつ、既存モデルと完全に互換性を持たせています。

ABSTRACT

M3d-CAM is an easy to use library for generating attention maps of CNN-based PyTorch models improving the interpretability of model predictions for humans. The attention maps can be generated with multiple methods like Guided Backpropagation, Grad-CAM, Guided Grad-CAM and Grad-CAM++. These attention maps visualize the regions in the input data that influenced the model prediction the most at a certain layer. Furthermore, M3d-CAM supports 2D and 3D data for the task of classification as well as for segmentation. A key feature is also that in most cases only a single line of code is required for generating attention maps for a model making M3d-CAM basically plug and play.

研究の動機と目的

• 3D および 2D 入力データ向けの注意マップ可視化を可能にすることで、医療分野のディープラーニングモデルの解釈性を向上させること。
• 既存の PyTorch モデルに最小限のコード変更で統合可能な、プラグアンドプレイのソリューションを提供すること。
• 分類およびセグメンテーションタスクの両方に対応する、複数の注意マップ生成手法（Grad-CAM、ガイドドバックプロパゲーション、ガイドドGrad-CAM、Grad-CAM++）をサポートすること。
• 注意マップを正例マスクと照合して評価できる機能を提供し、結果をエクスポート可能にする。
• ユーザーが特定のレイヤーを選択するか、自動的に最高レベルの畳み込みレイヤーを特定して注意マップ可視化を可能にする。

提案手法

• M3d-CAM は 1 行のコードで事前学習済みの PyTorch モデルにインジェクション可能：`model = medcam.inject(model)`。
• ライブラリは、モデルの動作を変更せずに、各フォワードパス中に注意マップを生成する関数を動的に追加または置換する。
• 2D および 3D データ入力をサポートし、分類およびセグメンテーションモデルの両方で動作する。
• 注意マップは、Grad-CAM、ガイドドバックプロパゲーション、ガイドドGrad-CAM、Grad-CAM++ といった複数のバックエンド手法を用いて生成される。
• レイヤー選択は柔軟で、1 つのレイヤー、複数のレイヤーのリスト、または 'auto' を指定して最高レベルの畳み込みレイヤーを自動的に特定できる。
• 評価は `model.forward(input, mask)` または `medcam.Evaluator` の直接使用により可能で、結果を Excel にエクスポート可能。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルを用いて、3D 医療画像データ向けに注意マップをどのように効率的に生成できるか？
• RQ2 既存の PyTorch ベースの医療分野モデルに解釈性を統合する際に、最小限のコードオーバーヘッドはどの程度か？
• RQ3 異なる注意マップバックエンド（例：Grad-CAM とガイドドGrad-CAM）は、2D および 3D データにおいてモデルの注目領域をどのように可視化するか？
• RQ4 正例マスクを用いて注意マップの評価を体系的に行うことは可能か？ これによりモデルの解釈性を定量的に測定できるか？
• RQ5 モデルアーキテクチャや推論パイプラインを変更せずに、注意マップをどの程度生成できるか？

主な発見

• M3d-CAM はたった 1 行のコードで注意マップ生成が可能であり、既存モデルとの互換性が高く、非常に使いやすい。
• ライブラリは 2D および 3D データの両方に対応する主要な注意マップバックエンド（Grad-CAM、ガイドドバックプロパゲーション、ガイドドGrad-CAM、Grad-CAM++）をすべてサポートしている。
• 推論中に自動的に注意マップが生成され、`output_dir` および `save_maps` パラメータを用いてディスクに保存できる。
• ライブラリは、入力空間に再投影できないため、注意マップ生成の対象外となる非畳み込みレイヤー（例：全結合層）を正しく特定して除外している。
• 正例マスクとの照合による注意マップの評価は `medcam.Evaluator` クラスによってネイティブにサポートされており、結果を Excel にエクスポート可能。
• Grad-CAM++ は、同じクラスの複数のインスタンスが画像内に存在する場合、通常の Grad-CAM よりもより正確な注意マップを生成する。