[論文レビュー] CheXplaining in Style: Counterfactual Explanations for Chest X-rays using StyleGAN

Matan Atad, Vitalii Dmytrenko+7 more|arXiv (Cornell University)|Jul 15, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

この論文では、胸郭レントゲン診断の臨床的関連性を持つ反事実的説明を生成するために、StyleGANに基づく潜在空間操作を用いるStyleExを提案する。EigenFind——主成分分析（PCA）に基づく潜在空間要因分解技術——を導入することで、反事実的探索時間を数時間から数分に短縮した。放射線科医による評価では、生成された特徴変化が実際の病理的所見と整合しており、臨床的関連性が保たれていることが確認された。

ABSTRACT

Deep learning models used in medical image analysis are prone to raising reliability concerns due to their black-box nature. To shed light on these black-box models, previous works predominantly focus on identifying the contribution of input features to the diagnosis, i.e., feature attribution. In this work, we explore counterfactual explanations to identify what patterns the models rely on for diagnosis. Specifically, we investigate the effect of changing features within chest X-rays on the classifier's output to understand its decision mechanism. We leverage a StyleGAN-based approach (StyleEx) to create counterfactual explanations for chest X-rays by manipulating specific latent directions in their latent space. In addition, we propose EigenFind to significantly reduce the computation time of generated explanations. We clinically evaluate the relevancy of our counterfactual explanations with the help of radiologists. Our code is publicly available.

研究の動機と目的

• 深層学習モデルのブラックボックス性を解消するため、モデルの予測を変えるために画像にどのような変更が必要かを明らかにする反事実的説明を生成すること。
• 胸郭レントゲンにおける分類器固有の潜在空間方向を特定する反事実的生成の計算効率を向上させること。
• 専門放射線科医による評価を通じて、生成された反事実的説明の臨床的関連性を検証すること。
• StyleGANによる潜在空間操作が、意味のある診断的関連特徴を明らかにできることを示すこと。

提案手法

• CheXpertデータセット上で訓練された条件付きStyleGAN2ジェネレータを用い、分類器の予測を条件として、特定の診断ラベルを持つ画像を生成する。
• 分類器として固定されたDenseNetを用い、病理所見ラベルを予測する。また、エンコーダーを用いて実際のレントゲン画像をStyleGANの潜在空間にマッピングする。
• 潜在空間をPCAを用いて要因分解し、最も影響力のある方向（固有ベクトル）を特定することで、EigenFindによる効率的な反事実的探索を可能にする。
• 生成された反事実的画像は、ターゲット診断に対応する上位の固有ベクトルに沿って潜在コードを摂動することで得られ、意味的に整合的かつ視覚的に妥当な画像が得られる。
• 臨床的意味のある特徴変化を優先するように変更された探索アルゴリズムを用いて、分類器固有の潜在空間方向を同定する。
• パス長とR1正則化を用いて、トレーニングの安定化と生成品質の向上を図る。全体のパイプラインは、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 StyleGANの潜在空間操作によって生成された反事実的説明は、胸郭レントゲン分類において診断的に意味のある画像変化を明らかにできるか？
• RQ2 分類器固有の潜在空間方向を探索する際の計算コストを、説明の品質を損なわず低減できるか？
• RQ3 生成された反事実的説明における特徴変化は、専門放射線科医によって臨床的に関連性があり、認識可能か？
• RQ4 反事実的生成を通じて、ペースメイカー や年齢関連特徴といった間接的指標を、それに応じた病態（例：心臓肥大）と関連付けることができるか？

主な発見

• EigenFindは、AttFindと同等の反事実的生成性能（3つの病態で94–96％の成功率）を達成したが、Tesla P100 GPU上での探索時間は12時間からわずか5分に短縮された。
• 放射線科医は、EigenFindが生成した最も顕著な固有ベクトルが、心胸比の増大、胸膜陥没、縦隔移動といった重要な病理的所見を的確に強調していることを確認した。
• 生成された反事実的説明は、既知の臨床的所見を正確に反映しており、例として心臓肥大、胸膜効果、縦隔移動が視覚的・臨床的に妥当な形で再現された。
• モデルは、ペースメイカー や年齢といった間接的指標を心臓肥大と関連付ける能力を学習しており、臨床的関連性のあるパターンを効果的に捉えていることが示された。
• 本手法は、3つの病態においてテスト画像の91–96％で反事実的説明を生成でき、高い信頼性と一般化性能を示した。
• 潜在空間におけるPCAベースの要因分解により、モデル予測に最も寄与する特徴を効率的かつ解釈可能に同定できるようになった。