[論文レビュー] Virtual histological staining of unlabeled autopsy tissue

Yuzhu Li, Nir Pillar+13 more|arXiv (Cornell University)|Aug 2, 2023

Molecular Biology Techniques and Applications被引用数 4

ひとこと要約

本研究では、非標識化・自己消化性の解剖組織の自己蛍光画像を、染色アーチファクトが生じない高精細のH&E様仮想染色画像に変換する深層学習ベースの仮想ヒストロロジカル染色法を提案する。遅延固定に起因する染色アーチファクトを排除する。0.7 TBのコアジグレーション画像データを用いて、データ効率的な登録統合型ニューラルネットワークで訓練されたモデルは、自己消化が著しく進行した組織、特にCOVID-19死亡例を含む組織に対しても、アーチファクトのない、診断に耐えうる仮想H&E画像を正確に生成した。

ABSTRACT

Histological examination is a crucial step in an autopsy; however, the traditional histochemical staining of post-mortem samples faces multiple challenges, including the inferior staining quality due to autolysis caused by delayed fixation of cadaver tissue, as well as the resource-intensive nature of chemical staining procedures covering large tissue areas, which demand substantial labor, cost, and time. These challenges can become more pronounced during global health crises when the availability of histopathology services is limited, resulting in further delays in tissue fixation and more severe staining artifacts. Here, we report the first demonstration of virtual staining of autopsy tissue and show that a trained neural network can rapidly transform autofluorescence images of label-free autopsy tissue sections into brightfield equivalent images that match hematoxylin and eosin (H&E) stained versions of the same samples, eliminating autolysis-induced severe staining artifacts inherent in traditional histochemical staining of autopsied tissue. Our virtual H&E model was trained using >0.7 TB of image data and a data-efficient collaboration scheme that integrates the virtual staining network with an image registration network. The trained model effectively accentuated nuclear, cytoplasmic and extracellular features in new autopsy tissue samples that experienced severe autolysis, such as COVID-19 samples never seen before, where the traditional histochemical staining failed to provide consistent staining quality. This virtual autopsy staining technique can also be extended to necrotic tissue, and can rapidly and cost-effectively generate artifact-free H&E stains despite severe autolysis and cell death, also reducing labor, cost and infrastructure requirements associated with the standard histochemical staining.

研究の動機と目的

• 遅延固定に起因する自己消化による解剖組織の染色品質の悪化という、深刻な課題に対処すること。
• 解剖ワークフローにおける従来のヒストケミカル染色が、リソースを大量に消費し、時間がかかり、人的負担が大きいという点を克服すること。
• 人工知能を用いて、化学的H&E染色の代替手段として、費用対効果が高く、迅速かつスケーラブルな解剖組織用の代替法を開発すること。
• ヒストパスロジー支援が逼迫するグローバルヘルス・クライシスにおいて、信頼性のあるヒストパスロジカル診断を可能にすること。
• 自己消化が著しく進行した組織、特にCOVID-19死亡例を含む組織において、仮想染色の実現可能性を示すこと。

提案手法

• 2段階の画像登録パイプラインを採用：まず、最大自己相関を用いた全スライド画像（WSI）レベルでの剛体登録を実施し、その後、パッチレベル（3248×3248 px）でのマルチモodalアフィン登録により、自己蛍光画像とH&E画像を整合化した。
• 最小限の処理遅延が生じた解剖組織から得られた16,159組のコアジグレーション画像ペア（中心クロップ後2048×2048 px）を用いて、登録ネットワークと染色ネットワークを統合したデータ効率的なフレームワークで深層ニューラルネットワーク（DNN）を訓練した。
• トレーニング中、256×256 pxのパッチに対してランダムな反転と回転によるデータ拡張を実施し、平均が0、分散が1に正規化した。
• sCMOSカメラ（Leica DFC 9000 GTC）を用い、特定のフィルターキューブを用いて、100 ms（DAPI）および300 ms（TxRed）の露出時間で自己蛍光画像を撮影した。
• ヒストケミカルに染色されたH&Eスライドを明るい蛍光スライドスキャナー（Leica Aperio AT2）でデジタル化し、正解ラベルとしてのペアリングを実施した。
• 仮想染色の忠実度を最適化するために、独自の損失関数とトレーニングスケジュールを備えたRegiStainフレームワークを実装した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、非標識解剖組織の自己蛍光画像を、従来のヒストケミカル染色と同等の品質を持つ仮想H&E染色に正確に変換できるか？
• RQ2 提案された仮想染色法は、自己消化が進行した解剖組織に起因する染色アーチファクトをどの程度低減できるか？
• RQ3 仮想染色モデルは、自己消化が著しく進行した組織、特にCOVID-19死亡例に由来する組織においても、核および細胞質の特徴に一貫性を保つことができるか？
• RQ4 仮想染色アプローチは、従来のH&E染色と同等の定量的ヒストロジカル指標（例：核数、核サイズ）を達成できるか？
• RQ5 画像登録を仮想染色ネットワークに統合することで、非理想的な解剖組織サンプル、特に困難なサンプルにおける性能がどのように向上するか？

主な発見

• 仮想H&Eモデルは、自己消化が著しく進行した解剖組織、特にCOVID-19死亡例に対しても、診断に耐えうる染色品質を達成した。従来のH&E染色は、染料の結合不良と染色アーチファクトにより失敗していた。
• 対応t検定の結果、仮想染色画像とヒストケミカル染色画像との間で、視野あたりの核数および平均核サイズに有意差は認められず（p > 0.05）、定量的整合性が極めて高いことが示された。
• 病理医による評価では、仮想染色と従来H&E染色の染色品質指標に有意差は認められず、視覚的評価において診断同等性が確認された。
• モデルは、自己消化が著しく進行した組織（例：空胞化、細胞質のアロフィリア）においても、核、細胞質、細胞外マトリックスの特徴を明確に強調できた。これらの特徴は、従来の染色法ではしばしば混同を引き起こす。
• トレーニングデータセットは0.7 TBを超える画像データを含み、モデルの学習に16,159組の登録済み画像ペアが使用された。これにより、未知の解剖サンプルへの汎用性が確保された。
• 化学的試薬、染色手順、専用のラボ施設を不要とすることで、従来のヒストパスロジー手順に比べ、人的負担、コスト、インfraの要請が顕著に削減された。