[論文レビュー] Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models

An Yan, Yu Wang+9 more|arXiv (Cornell University)|Oct 4, 2023

Machine Learning in Healthcare被引用数 9

ひとこと要約

この論文は、画像を GPT-4 由来の医療概念へマッピングするビジョン-ランゲージモデルを通じて、頑健で解釈可能な医療画像分類器を提案し、より良い一般化と解釈性を実現する。

ABSTRACT

Medical image classification is a critical problem for healthcare, with the potential to alleviate the workload of doctors and facilitate diagnoses of patients. However, two challenges arise when deploying deep learning models to real-world healthcare applications. First, neural models tend to learn spurious correlations instead of desired features, which could fall short when generalizing to new domains (e.g., patients with different ages). Second, these black-box models lack interpretability. When making diagnostic predictions, it is important to understand why a model makes a decision for trustworthy and safety considerations. In this paper, to address these two limitations, we propose a new paradigm to build robust and interpretable medical image classifiers with natural language concepts. Specifically, we first query clinical concepts from GPT-4, then transform latent image features into explicit concepts with a vision-language model. We systematically evaluate our method on eight medical image classification datasets to verify its effectiveness. On challenging datasets with strong confounding factors, our method can mitigate spurious correlations thus substantially outperform standard visual encoders and other baselines. Finally, we show how classification with a small number of concepts brings a level of interpretability for understanding model decisions through case studies in real medical data.

研究の動機と目的

• 臨床データにおける偽りの相関に抵抗する頑健な医療画像分類を提唱する動機付け。
• GPT-4 から取得した自然言語概念を用いて視覚特徴の利用を導くフレームワークを提案する。
• ビジョン-ランゲージモデルを用いて画像と概念を結びつけ、解釈可能な予測を作成する。
• 概念ベースの分類器が混乱データセットで頑健性を向上させ、標準ベンチマークで競争力のある精度を維持することを示す。

提案手法

• 各疾病クラスの医療概念をゼロショットで GPT-4 から抽出する。
• ビジョン-ランゲージモデル（BioViL）を用いて視覚特徴を GPT-4由来の概念空間に射影し、概念ヒートマップを得る。
• 概念-画像類似度をプーリングし、スコアを正規化して、バイアスなしの線形分類器に入力することで概念ベクトルを計算する。
• 解釈性は、概念とクラスを結ぶ最終線形層の重みと、インスタンスごとの寄与分析によって提供される。
• 概念ベースのロジットに対して交差エントロピーロスで訓練する。各ロジットは概念スコアの非負線形結合である。

実験結果

リサーチクエスチョン

• RQ1 GPT-4 生成概念は医用画像におけるドメイン混乱への頑健性を向上させるか？
• RQ2 視覚特徴を概念空間に射影することで、精度を維持しつつ偽の相関への依存を減らせるか？
• RQ3 概念ベースのアプローチは、グローバルおよびインスタンスレベルの解釈性をどの程度提供するか？
• RQ4 標準ベンチマークと混乱データセットの両方でこのアプローチはどの程度性能を示すか？

主な発見

• 混乱データセットでは、本手法はベースラインを大きく上回り、raw image features に対する平均約19ポイントの改善を示す。
• 強い混乱因子を伴う難易度の高いデータセット全体で、ERM、Fish、LISA、BioViL 特徴より偽の相関をより適切に緩和する。
• 明示的な混乱因子を伴わない標準ベンチマークでは、手法は純粋な視覚エンコーダや従来のCBMより競争力がある、または優れている。
• 最終層の重みを通じた概念重要度の表示およびインスタンスごとの概念寄与の可視化により、解釈性を提供する。
• GPT-4由来の概念は、主要データセットで他の概念セット（ChatGPT、MIMIC-GPT4、Human）より精度が高い。