[論文レビュー] Gifsplanation via Latent Shift: A Simple Autoencoder Approach to Counterfactual Generation for Chest X-rays

Joseph Cohen, Rupert Brooks+5 more|arXiv (Cornell University)|Feb 18, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 23被引用数 21

ひとこと要約

本稿では、入力の潜在表現をシフトさせることで分類器の予測に影響を与える特徴を誇張または抑制する、シンプルな自己符号化器ベースの手法であるLatent Shiftを提案する。この手法は、真陽性予測におけるユーザーの信頼度を向上させ（5段階スケールで0.15ポイント上昇、p=0.01）、偽陽性の信頼度を著しく上昇させない一方で、従来のアトリビューションマップよりもレントゲン診断医の解釈性を向上させる。

ABSTRACT

Motivation: Traditional image attribution methods struggle to satisfactorily explain predictions of neural networks. Prediction explanation is important, especially in medical imaging, for avoiding the unintended consequences of deploying AI systems when false positive predictions can impact patient care. Thus, there is a pressing need to develop improved models for model explainability and introspection. Specific problem: A new approach is to transform input images to increase or decrease features which cause the prediction. However, current approaches are difficult to implement as they are monolithic or rely on GANs. These hurdles prevent wide adoption. Our approach: Given an arbitrary classifier, we propose a simple autoencoder and gradient update (Latent Shift) that can transform the latent representation of a specific input image to exaggerate or curtail the features used for prediction. We use this method to study chest X-ray classifiers and evaluate their performance. We conduct a reader study with two radiologists assessing 240 chest X-ray predictions to identify which ones are false positives (half are) using traditional attribution maps or our proposed method. Results: We found low overlap with ground truth pathology masks for models with reasonably high accuracy. However, the results from our reader study indicate that these models are generally looking at the correct features. We also found that the Latent Shift explanation allows a user to have more confidence in true positive predictions compared to traditional approaches (0.15$\pm$0.95 in a 5 point scale with p=0.01) with only a small increase in false positive predictions (0.04$\pm$1.06 with p=0.57). Accompanying webpage: https://mlmed.org/gifsplanation Source code: https://github.com/mlmed/gifsplanation

研究の動機と目的

• 従来のアトリビューションマップが医用画像の深層学習予測を説明するうえで抱える限界を解消すること。
• 複雑なGANの学習を回避するため、既存の事前学習済み分類器と連携可能なモジュール型で実装が容易な手法を開発すること。
• 予測に影響を与える特徴を誇張または弱める対向画像を生成することで、モデルの解釈性を向上させること。
• Latent Shiftがレントゲン診断医の予測の正しさを識別する際の信頼度と正確性を向上させるかどうかを評価すること。
• Latent Shiftが、臨床的妥当性と病理マスクの真値との整合性において、従来のアトリビューション手法と比較して優れているかどうかを評価すること。

提案手法

• 本手法は、事前学習済みの自己符号化器（エンコーダ E、デコーダ D）と別個の分類器 f を使用する。両者とも微分可能であり、独立して学習されている。
• 入力画像 x に対して、潜在コード z は z = E(x) で得られ、λシフトされた潜在コードは z_λ = z + λ·∂f(D(z))/∂z で計算される。
• 対向画像は x′_λ = D(z_λ) として再構築され、予測スコアが f(x′_λ) > f(x) となるように設計されている。
• 複数の λ 値を用いることで、時間経過に伴う特徴の変化を可視化できるGIFに画像を連結することができる。
• 変化の可視化には光流を用い、GIFシーケンス全体で予測スコアの変化を追跡する。
• 本手法は、2名のレントゲン診断医を対象としたリーダースタディを用いて評価され、従来のアトリビューションマップ（例：Grad-CAM、Integrated Gradients）と比較されている。

実験結果

リサーチクエスチョン

• RQ1 Latent Shiftは、従来のアトリビューション手法と比較して、レントゲン診断医のモデル予測に対する信頼度を向上させるか？
• RQ2 Latent Shiftが強調する特徴は、従来手法と比較して、レントゲン診断医が正しい病変部位と認識するのとより整合性があるか？
• RQ3 Latent Shiftは、偽陽性予測を識別する際、従来のアトリビューション手法と比較して性能に優れているか？
• RQ4 モデルが特定した特徴とレントゲン診断医による特徴の正しさの評価との間に、Iou相関が存在するか？
• RQ5 Latent Shiftは、モデルが実際の病変ではなく、たとえば胸管などの誤った相関要因（spurious correlates）を用いているかどうかを効果的に明らかにできるか？

主な発見

• レントゲン診断医は、従来のアトリビューション手法と比較して、Latent Shiftを用いた真陽性予測に対して、有意に高い0.15ポイントの信頼度上昇を報告した（p=0.01）。
• 偽陽性予測についての信頼度に顕著な上昇は認められず（0.04ポイント上昇、p=0.57）、Latent Shiftが誤ったケースで過剰な自信をもたらさないことが示された。
• 高いAUCスコア（例：マスで0.92）を示しても、アトリビューションマップと真値病変マスクとのIouは低く、病変との空間的整合性が乏しいことが示された。
• リーダースタディの結果、Iou値が高いほど、レントゲン診断医が特徴を「正しい」と評価する傾向が強く、Iouが臨床的妥当性の意味のある代理指標であることが示された。
• レントゲン診断医は、Latent Shiftがより直感的であると報告し、異常の境界をよりよく強調しているため、モデルの推論を評価する能力が向上したと述べた。
• 1名のレントゲン診断医は、モデルが気胸を予測するために胸管を用いている（誤った相関要因）ことを観察し、Latent Shiftによってそれが視覚的に確認された。これは、低解像度でのモデルの脆さ（brittleness）を浮き彫りにした。