[論文レビュー] Using StyleGAN for Visual Interpretability of Deep Learning Models on Medical Images

Kathryn Schutte, Olivier Moindrot+3 more|arXiv (Cornell University)|Jan 19, 2021

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 36

ひとこと要約

この論文は、入力医用画像がモデル予測を変えるのにどのように変わるべきかを視覚化するStyleGANベースの手法を提案し、GradCAMより解釈性の高い説明を提供します。膝X線写真と組織学パッチでアプローチを検証し、有望な結果を示しています。

ABSTRACT

As AI-based medical devices are becoming more common in imaging fields like radiology and histology, interpretability of the underlying predictive models is crucial to expand their use in clinical practice. Existing heatmap-based interpretability methods such as GradCAM only highlight the location of predictive features but do not explain how they contribute to the prediction. In this paper, we propose a new interpretability method that can be used to understand the predictions of any black-box model on images, by showing how the input image would be modified in order to produce different predictions. A StyleGAN is trained on medical images to provide a mapping between latent vectors and images. Our method identifies the optimal direction in the latent space to create a change in the model prediction. By shifting the latent representation of an input image along this direction, we can produce a series of new synthetic images with changed predictions. We validate our approach on histology and radiology images, and demonstrate its ability to provide meaningful explanations that are more informative than GradCAM heatmaps. Our method reveals the patterns learned by the model, which allows clinicians to build trust in the model's predictions, discover new biomarkers and eventually reveal potential biases.

研究の動機と目的

• 規制上および臨床上の信頼を得るために医用画像診断における解釈可能なAIの必要性を喚起する。
• StyleGANを用いて潜在空間を画像にマッピングし、潜在方向を予測と結びつける3段階の手法を提案する。
• 潜在空間編集が生物学的に妥当な進行や予測の変化を生み出すことを示す。
• GradCAMと比較し、より豊かな解釈性と潜在的なバイオマーカー発見の可能性を示す。

提案手法

• 医用画像上でStyleGAN2を訓練し、512次元の潜在空間 W を学習させる。
• 実画像を対応する潜在ベクトル W の値に写像するエンコーダ E を、合成ペア (w, G(w)) を用いて訓練する。
• 潜在コードに対してロジスティック回帰を訓練しモデル出力を予測させ、予測を変える方向 alpha を W に得る。
• 新しい画像 x に対して w = E(x) を計算し、lambda*alphaだけ沿って移動させて G(w + lambda*alpha) を生成し、予測を更新する。
• 生成された画像列を用いて視覚的変化が予測にどのように関連するかを解釈し、臨床的に意味のあるパターンを特定する。

実験結果

リサーチクエスチョン

• RQ1 StyleGAN の潜在空間操作は医用画像に対するブラックボックスモデルの予測に対してどのような説明を提供できるか。
• RQ2 学習された潜在方向に沿って移動することで、予測の変化と関連する臨床的に妥当な画像の進化を生むか。
• RQ3 生成された視覚的進化は、医療意思決定タスクにおいてGradCAMのヒートマップより有益か。
• RQ4 このアプローチは医用画像分類器のバイオマーカーや潜在的なバイアスを明らかにするのに役立つか。

主な発見

• X線写真における膝の変形性膝関節症では、KL grade が上昇するにつれて生物学的に妥当な進行特徴が得られ、GradCAM の局在化を超える。
• 膝X線写真では、予測子 f はテストAUC 89%、潜在空間予測子
  c tilde f はテストAUC 80%を達成した。
• 放射線科医によってStyleGAN生成器は平均58%のチューリング試験精度と評価され、現実的な合成X線を示している。
• 組織学パッチにおける転移性検出では、予測子 f はテストAUC 92%、潜在予測子
  c tilde f はテストAUC 95%を達成した。
• GradCAMヒートマップは予測機能が画像全体に拡散している場合には有益性が低く、潜在空間編集は意味のある特徴変化を強調した。
• このアプローチは臨床医が信頼を構築し、新しいバイオマーカーを発見し、潜在的なバイアスを明らかにするのに役立つ。