[論文レビュー] Assessing the validity of saliency maps for abnormality localization in medical imaging

Nishanth Arun, Nathan Gaw+6 more|arXiv (Cornell University)|May 29, 2020

Radiomics and Machine Learning in Medical Imaging被引用数 17

ひとこと要約

本研究では、RSNA Pneumoniaデータセットを用いて、医療画像における異常部位の局在化に向けたサリエンシーマップ手法の妥当性を評価する。GradCAMはモデル重みおよびラベルのランダム化に対して最も感受性が高く、優れたロバストネスとアーキテクチャに依存しない性能を示している。一方、Gradient Explanation や SmoothGrad IG などの他の手法は感受性が低く、臨床的解釈の文脈において信頼性に欠ける可能性があることが示された。

ABSTRACT

Saliency maps have become a widely used method to assess which areas of the input image are most pertinent to the prediction of a trained neural network. However, in the context of medical imaging, there is no study to our knowledge that has examined the efficacy of these techniques and quantified them using overlap with ground truth bounding boxes. In this work, we explored the credibility of the various existing saliency map methods on the RSNA Pneumonia dataset. We found that GradCAM was the most sensitive to model parameter and label randomization, and was highly agnostic to model architecture.

研究の動機と目的

• 定量的指標を用いて、医療画像における異常部位局在化のためのサリエンシーマップ手法の妥当性を評価すること。
• 一般的に用いられるサリエンシーマップ技術が、モデルパラメータおよびラベルのランダム化に対して感受性を示すかどうかを調査し、信頼性を評価すること。
• 異なるモデルアーキテクチャおよびトレーニングランで繰り返し実行した際のサリエンシーマップの再現性と再現可能性を評価すること。
• 正解ボクシングボックスとのオーバーラップを測定することで、どのサリエンシーマップ手法が最も正確に異常部位を局在化できるかを特定すること。
• 深層学習ベースの医療画像解析における解釈可能性ツールの信頼性に関する実証的証拠を提供すること。

提案手法

• モデル重みおよびラベルに段階的なランダム化を適用し、サリエンシーマップ手法の感受性をテストした。
• サリエンシーマップと正解ボクシングボックスのオーバーラップを定量的に測定するために、Diceスコアを用いた。
• ロバストネス評価のため、ランダム化前後におけるサリエンシーマップの比較にスピアマン順位相関を用いた。
• 同じアーキテクチャで独立してトレーニングされたモデル同士のサリエンシーマップを比較することで、アーキテクチャ内再現性テストを実施した。
• 異なるアーキテクチャ（例：InceptionV3 と DenseNet121）間でのサリエンシーマップの比較を通じて、アーキテクチャ間再現性分析を実施した。
• 6つのサリエンシーマップ手法を評価した：Gradient Explanation、SmoothGrad、Integrated Gradients、GradCAM、XRAI、SmoothGrad-IG。

実験結果

リサーチクエスチョン

• RQ1 RSNA Pneumoniaデータセットにおいて、異なるサリエンシーマップ手法は正解ボクシングボックスとのDiceスコアを用いて、異常部位の局在化にどの程度効果的か？
• RQ2 サリエンシーマップ手法は、モデル重みおよびラベルのランダム化に対してどの程度感受性を示すか。これは、その信頼性を示唆する。
• RQ3 同じモデルアーキテクチャを複数回独立してトレーニングした場合、サリエンシーマップはどの程度再現可能か？
• RQ4 異なるディープラーニングアーキテクチャ間で、サリエンシーマップはどの程度再現可能か？
• RQ5 どのサリエンシーマップ手法が、ロバストネスを維持しつつも、モデルアーキテクチャに対して最もアーキテクチャに依存しない性質を示すか？

主な発見

• GradCAMは、モデル重みおよびラベルのランダム化に対して最も感受性が高く、ランダム化条件下でDiceスコアが著しく低下した。これは、実際のモデル学習に応じて反応していることを示し、優れた感受性を示している。
• Gradient Explanation、SmoothGrad IG、XRAI は、モデルやラベルのランダム化に対しても顕著なスコア低下を示さず、望ましくない不変性を示しており、臨床的解釈における信頼性に欠ける可能性がある。
• GradCAMは、異なるモデルアーキテクチャ間で最も一貫性のあるサリエンシーマップを生成し、高いアーキテクチャに依存しない性質（アーキテクチャ・アーグノスティシティ）を示した。
• SmoothGrad および SmoothGrad IG は、アーキテクチャ内およびアーキテクチャ間の再現性が最も低く、サリエンシーマップ出力のばらつきが顕著であった。
• すべての手法においてアーキテクチャ内再現性は低く、同じアーキテクチャで独立してトレーニングされたモデル間でも顕著な差が見られた。
• 異なるモデルからのサリエンシーマップ間のDiceスコア差が最小であったのはGradCAMであり、これによりその優れた再現性と一貫性が裏付けられた。