[論文レビュー] Deep Learning Generates Synthetic Cancer Histology for Explainability and Education

James M. Dolezal, Rachelle Wolk+21 more|arXiv (Cornell University)|Nov 12, 2022

AI in cancer detection被引用数 4

ひとこと要約

本論文では、腫瘍分子分類における深層ニューラルネットワーク（DNN）の説明可能性を向上させるために、条件付き生成対抗ネットワーク（cGAN）を用いて高精細な合成がんヒストロロジー画像を生成する手法を提案する。この手法により、分子サブタイプに関連する形態的特徴の可視化が可能となり、クラスおよびレイヤーのブレンドを用いたモデルの解釈可能性が向上し、直感的で現実的な訓練例を提供することで病理医の教育を支援する。

ABSTRACT

Artificial intelligence methods including deep neural networks (DNN) can provide rapid molecular classification of tumors from routine histology with accuracy that matches or exceeds human pathologists. Discerning how neural networks make their predictions remains a significant challenge, but explainability tools help provide insights into what models have learned when corresponding histologic features are poorly defined. Here, we present a method for improving explainability of DNN models using synthetic histology generated by a conditional generative adversarial network (cGAN). We show that cGANs generate high-quality synthetic histology images that can be leveraged for explaining DNN models trained to classify molecularly-subtyped tumors, exposing histologic features associated with molecular state. Fine-tuning synthetic histology through class and layer blending illustrates nuanced morphologic differences between tumor subtypes. Finally, we demonstrate the use of synthetic histology for augmenting pathologist-in-training education, showing that these intuitive visualizations can reinforce and improve understanding of histologic manifestations of tumor biology.

研究の動機と目的

• 分子腫瘍サブタイプに関連する形態的特徴を強調する合成画像を生成することで、がんヒストロジーにおける深層学習モデルの説明可能性を向上させること。
• クラスおよびレイヤーのブレンドを用いて合成ヒストロジーを制御的に操作することで、DNN意思決定プロセスの微細な分析を可能にすること。
• 合成ヒストロジーを用いたデータ拡張戦略を開発し、訓練中の病理医の教育を支援および強化すること。
• 合成ヒストロジーが生物学的に関連する形態的パターンを保持している一方で、正確なモデル解釈が可能であることを検証すること。
• 合成画像が腫瘍生物学の理解を強化する効果的な教育的ツールとして機能できることを示すこと。

提案手法

• 分子腫瘍サブタイプを条件として、合成全身切片画像を生成するための条件付き生成対抗ネットワーク（cGAN）を訓練する。
• cGANアーキテクチャは、実際のヒストロジー画像を合成する生成器と、実画像と合成画像を区別する識別器から構成され、分子クラスラベルを条件として用いる。
• クラスブレンドは、異なる腫瘍サブタイプからの潜在コードを補間することで、中間的な形態的特徴を有する画像を生成する。
• レイヤーブレンドは、生成器の途中層の特徴マップを操作することで、サブタイプ間の形態的遷移を探索する。
• 特定の分子分類に関連するヒストロジー特徴がどのように関連しているかを可視化することで、DNN予測の説明に合成画像を用いる。
• DNNの注意マップとサリエンシーマップを実データと合成データで比較することで、一貫性と解釈可能性を評価し、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 cGANは、既知の分子腫瘍サブタイプの形態的特徴を正確に反映する高品質な合成がんヒストロジー画像を生成できるか？
• RQ2 合成ヒストロジーは、分子的サブタイピングがなされた腫瘍の分類におけるDNNモデルの説明可能性をどの程度向上できるか？
• RQ3 合成画像におけるクラスおよびレイヤー表現の制御的ブレンドにより、腫瘍サブタイプ間の微細な形態的差異を明らかにできるか？
• RQ4 合成ヒストロジー画像は、訓練中の病理医の教育をどの程度支援および強化できるか？
• RQ5 合成画像から得られる解釈信号は、実ヒストロジー画像からの信号と一致するか？

主な発見

• cGANは、専門的な病理医によって実際の全身切片画像と区別がつかない高精細な合成ヒストロジー画像を成功裏に生成した。
• 合成画像を用いることで、DNNにおいて一貫性があり意味のある注意マップが得られ、特定の分子サブタイプに関連する形態的特徴が明らかになった。
• クラスブレンドにより、期待される腫瘍サブタイプ間の形態的遷移を反映した中間的な合成画像が生成され、モデルの制御性が妥当であることが検証された。
• レイヤーブレンドにより、特定の分子状態に関連する腫瘍間質および核のパターンの微細な構造的差異が明らかになった。
• 訓練中の病理医による評価では、実画像のみを用いた学習に比べ、合成ヒストロジーを用いることで腫瘍生物学のヒストロジー所見の理解が向上した。
• 本手法は、複数のがん種類および分子サブタイプにわたり、多様で生物学的に妥当な合成サンプルを生成するという点で、強固な性能を示した。