[論文レビュー] High Accuracy Tumor Diagnoses and Benchmarking of Hematoxylin and Eosin Stained Prostate Core Biopsy Images Generated by Explainable Deep Neural Networks

Aman Rana, Alarice Lowe+8 more|arXiv (Cornell University)|Aug 2, 2019

AI in cancer detection参考文献 22被引用数 8

ひとこと要約

本論文では、条件付き生成対抗ネットワーク（cGAN）を用いた説明可能なディープラーニングフレームワークを提示し、前処理を施さないプロスタートコア生検のRGB全スライド画像（RWSI）を、SSIM 0.902、CC 0.962、PSNR 22.821 dBの高精細なヘマトキシリン・エオシン（H&E）に類似した画像に計算的に染色する手法を提案する。本システムは、単盲検研究において5名のボード資格を持つ病理医による評価で、計算的染色とゴールスタンダードのH&E染色スライドの間で95％を超える画素単位の腫瘍マッピング一致を達成し、迅速かつ非破壊的な腫瘍診断の高精度と臨床的妥当性を示している。

ABSTRACT

Histopathological diagnoses of tumors in tissue biopsy after Hematoxylin and Eosin (H&E) staining is the gold standard for oncology care. H&E staining is slow and uses dyes, reagents and precious tissue samples that cannot be reused. Thousands of native nonstained RGB Whole Slide Image (RWSI) patches of prostate core tissue biopsies were registered with their H&E stained versions. Conditional Generative Adversarial Neural Networks (cGANs) that automate conversion of native nonstained RWSI to computational H&E stained images were then trained. High similarities between computational and H&E dye stained images with Structural Similarity Index (SSIM) 0.902, Pearsons Correlation Coefficient (CC) 0.962 and Peak Signal to Noise Ratio (PSNR) 22.821 dB were calculated. A second cGAN performed accurate computational destaining of H&E dye stained images back to their native nonstained form with SSIM 0.9, CC 0.963 and PSNR 25.646 dB. A single-blind study computed more than 95% pixel-by-pixel overlap between prostate tumor annotations on computationally stained images, provided by five-board certified MD pathologists, with those on H&E dye stained counterparts. We report the first visualization and explanation of neural network kernel activation maps during H&E staining and destaining of RGB images by cGANs. High similarities between kernel activation maps of computational and H&E stained images (Mean-Squared Errors <0.0005) provide additional mathematical and mechanistic validation of the staining system. Our neural network framework thus is automated, explainable and performs high precision H&E staining and destaining of low cost native RGB images, and is computer vision and physician authenticated for rapid and accurate tumor diagnoses.

研究の動機と目的

• 染料による染色に依存することを減らすために、非染色のプロスタートコア生検画像に対して自動的かつ説明可能で高精度な計算的H&E染色手法を開発すること。
• 元の自己蛍光性RWSIを用いた計算的染色によって、不可逆的な染色を回避し、再利用可能な組織サンプルを実現すること。
• 計算的H&Eに類似した画像の品質を、定量的指標（SSIM、CC、PSNR）と医師による腫瘍マッピングの妥当性評価を用いてベンチマークすること。
• 計算的H&E染色と実際のH&E染色画像間のニューラルネットワークのカーネル活性化マップを可視化・比較することで、モデルのメカニズム的解釈可能性を提供すること。
• 早期がん診断とバイオマーカー検査を支援する、臨床現場で実用可能な仮想染色パイプラインを確立すること。

提案手法

• 非染色のRWSIとそれに対応するH&E染色画像間の階層的かつ非線形なマッピングを学習するため、条件付き生成対抗ネットワーク（cGAN）を訓練した。
• エンドツーエンドの学習に向け、デパラフィニゼーション処理を施したプロスタートコア生検RWSIパッチとそのH&E染色対応画像の大量データセットを活用した。
• 計算的染色画像と真値H&E染色画像の間の画像忠実度を定量的に評価するため、構造的類似性指数（SSIM）、ピアソン積動標本相関係数（CC）、ピーク信号対ノイズ比（PSNR）を用いた。
• H&E染色画像から元の非染色画像を再構築するための計算的脱染色を、第二のcGANを用いて実施し、SSIM 0.90、CC 0.963、PSNR 25.646 dBの結果を得た。
• 5名のボード資格を持つ病理医が参加する単盲検研究を通じて、計算的染色画像と実際のH&E染色画像の腫瘍マッピングを比較し、臨床的妥当性を検証した。
• cGANの内部で得られたカーネル活性化マップを生成・分析し、染色および脱染色プロセスのメカニズム的説明を提供した。計算的H&E画像と実際のH&E画像のカーネル活性化マップ間の平均二乗誤差は0.0005未満であった。

実験結果

リサーチクエスチョン

• RQ1 cGANは、非染色のRWSIから、視覚的および統計的に高精度なH&Eに類似した画像を生成できるか？
• RQ2 専門病理医による評価において、計算的染色画像上の腫瘍マッピングは、ゴールスタンダードのH&E染色スライド上のものとどの程度一致するか？
• RQ3 ニューラルネットワークの内部表現（カーネル活性化マップ）を用いて、モデルの挙動を説明・検証できるか？
• RQ4 定量的画像品質指標の観点から、計算的染色は従来のH&E染色と比較してどの程度の性能を示すか？
• RQ5 計算的染色と脱染色は、診断精度を維持したまま、将来のバイオマーカー検査に備えた組織の保存を可能にするか？

主な発見

• 計算的H&E染色モデルは、構造的類似性指数（SSIM）0.902、ピアソン積動標本相関係数（CC）0.962、ピーク信号対ノイズ比（PSNR）22.821 dBを達成し、高い画像忠実度を示した。
• 計算的脱染色モデルは、SSIM 0.900、CC 0.963、PSNR 25.646 dBを達成し、非染色画像の高品質な再構築を示した。
• 単盲検研究において、5名のボード資格を持つ病理医による評価で、計算的染色画像と実際のH&E染色スライド上の腫瘍マッピングの間で95％を超える画素単位の一致が確認された。
• 計算的H&E画像と実際のH&E画像のカーネル活性化マップ間の平均二乗誤差は0.0005未満であり、モデルの内部推論プロセスに対する数学的かつメカニズム的妥当性が裏付けられた。
• 病理医によるマッピングの交差率（IoU）スコアは、腫瘍全体で平均0.79、正常組織で0.90、特定のグレーソンスコアでは0.70～0.73の範囲を示し、高い一致度を示した。
• 臨床的比較において、13例中11例で、元の電子カルテ診断と計算的染色画像からの診断に一貫性または改善が認められ、わずかな差異は臨床的に有意でないと判断された。