[論文レビュー] Interpreting and Correcting Medical Image Classification with PIP-Net

Meike Nauta, Johannes H. Hegeman+4 more|arXiv (Cornell University)|Jul 19, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文では、画像ラベルからの学習により意味的に意味のある画像部品（プロトタイプ）を学習することで、医療画像分類における人間が理解可能な推論と直接的なモデル補正を可能にする、プロトタイプベースの解釈可能な深層学習モデル、PIP-Netを提案する。このモデルは、短絡的学習（例：骨折検出におけるX線撮影ビューの依存）を明らかにし、臨床医が問題のあるプロトタイプを無効化することでモデルを補正可能となる。これにより、臨床応用におけるAIシステムの信頼性と耐障害性が向上する。

ABSTRACT

Part-prototype models are explainable-by-design image classifiers, and a promising alternative to black box AI. This paper explores the applicability and potential of interpretable machine learning, in particular PIP-Net, for automated diagnosis support on real-world medical imaging data. PIP-Net learns human-understandable prototypical image parts and we evaluate its accuracy and interpretability for fracture detection and skin cancer diagnosis. We find that PIP-Net's decision making process is in line with medical classification standards, while only provided with image-level class labels. Because of PIP-Net's unsupervised pretraining of prototypes, data quality problems such as undesired text in an X-ray or labelling errors can be easily identified. Additionally, we are the first to show that humans can manually correct the reasoning of PIP-Net by directly disabling undesired prototypes. We conclude that part-prototype models are promising for medical applications due to their interpretability and potential for advanced model debugging.

研究の動機と目的

• 実際の医療画像分類タスク（例：骨折検出、皮膚がん診断）におけるPIP-Netの適用可能性を評価すること。
• 部分レベルのアノテーションを一切必要とせず、偽のアノテーション（例：X線に表示されるテキスト）、X線のテキスト、ラベルエラーなどのデータ品質の問題を、プロトタイプ分析によって特定できるかどうかを調査すること。
• PIP-Netの推論が、医療画像分野における標準的な分類基準および分野知識とどの程度整合しているかを評価すること。
• 臨床医が不要なプロトタイプを無効化することで、再トレーニングを伴わずにモデルの挙動を手動で補正できるかどうかを検証すること。
• プロトタイプの操作による人間がループに参加するモデル補正を可能にすることで、医療AIにおけるハイブリッド知能の実現可能性を示すこと。

提案手法

• PIP-Netは、画像ラベルのみを用いて、スパースで意味的に意味のある画像部品（プロトタイプ）を学習する畳み込みニューラルネットワークを採用するプロトタイプベースのアーキテクチャを持つ。
• プロトタイプは教師なし事前学習によって初期化され、部分アノテーションが不要な状態で関連する画像パッチを発見できる。
• モデルは、入力画像のパッチと学習済みプロトタイプとの類似度を測定することで注意スコアを計算し、分類のためのスパースなスコアシートを形成する。
• モデルの解釈可能性は、入力ごとにどのプロトタイプが活性化されたかを可視化することで達成され、臨床医が推論を検査・検証できる。
• 短絡的学習は、誤った相関（例：股関節骨折症例で特定のX線ビューに依存する）に関連するプロトタイプを手動で無効化することで是正される。
• 有効なプロトタイプが活性化されない場合にはモデルが予測を控えるよう設計されており、分布外入力に対する信頼性が向上する。

実験結果

リサーチクエスチョン

• RQ1 画像ラベルのみを用いて、PIP-Netは解釈可能で意味的に意味のあるプロトタイプ的画像部品を医療画像で学習できるか？
• RQ2 PIP-Netの推論は、確立された医療分類基準および臨床知識とどの程度整合しているか？
• RQ3 PIP-Netは、プロトタイプ分析を通じて、X線に表示される不要なテキストやラベルエラーなどのデータ品質の問題を特定できるか？
• RQ4 臨床医が特定のプロトタイプを無効化することで、モデルの挙動を効果的に補正できるか？
• RQ5 問題のあるプロトタイプを無効化することで、モデルの信頼性が向上し、混同要因への依存が低下するか？

主な発見

• PIP-Netは、大腿骨骨折および皮膚がんの両データセットで、臨床的に関連する解剖的領域に対応する可視化されたパッチを持つ、解釈可能で意味的に意味のあるプロトタイプ的画像部品を効果的に学習した。
• モデルは、一部のプロトタイプが、動けない患者に対して緊急外来で撮影されたX線画像でのみ活性化されることを特定した。これは、骨折の有無ではなく、患者の動けなさに依存する短絡的学習の兆候である。
• これらのビュー固有のプロトタイプを無効化した後、影響を受ける画像の約半数で骨折クラスのスコアがゼロに低下した。これにより、モデルがこの誤った相関に依存していたことが確認された。
• 臨床医が不要なプロトタイプを無効化することで、再トレーニングを伴わずモデルの推論を手動で補正できることを実証した。
• 有効なプロトタイプが活性化されない場合にモデルが予測を控える能力は、臨床応用における安全性と信頼性を向上させる。
• 結果から、PIP-Netは臨床医とAIの間で双方向のフィードバックループを形成できることを示しており、専門家がプロトタイプを提案または抑制することでモデルの挙動を洗練できる。