[論文レビュー] Deep Learning-enabled Virtual Histological Staining of Biological Samples

Bijie Bai, Xilin Yang+4 more|arXiv (Cornell University)|Nov 13, 2022

Cell Image Analysis Techniques被引用数 13

ひとこと要約

このレビューでは、深層学習を活用した仮想ヒストロロジカル染色を、従来の化学的染色の変革的代替手段として提示している。畳み込みニューラルネットワーク（CNN）を用いて、ラベルフリーまたは既に染色済みの顕微鏡画像から高精細なヒストロロジカル染色を生成することで、複雑なラボワークフローを必要とせず、迅速かつ低コストかつアクセスしやすい組織可視化を実現する。本手法は、未染色のサンプルからH&E、パピニコラウ染色、その他の染色を生成する、または染色タイプ間の変換に成功している。

ABSTRACT

Histological staining is the gold standard for tissue examination in clinical pathology and life-science research, which visualizes the tissue and cellular structures using chromatic dyes or fluorescence labels to aid the microscopic assessment of tissue. However, the current histological staining workflow requires tedious sample preparation steps, specialized laboratory infrastructure, and trained histotechnologists, making it expensive, time-consuming, and not accessible in resource-limited settings. Deep learning techniques created new opportunities to revolutionize staining methods by digitally generating histological stains using trained neural networks, providing rapid, cost-effective, and accurate alternatives to standard chemical staining methods. These techniques, broadly referred to as virtual staining, were extensively explored by multiple research groups and demonstrated to be successful in generating various types of histological stains from label-free microscopic images of unstained samples; similar approaches were also used for transforming images of an already stained tissue sample into another type of stain, performing virtual stain-to-stain transformations. In this Review, we provide a comprehensive overview of the recent research advances in deep learning-enabled virtual histological staining techniques. The basic concepts and the typical workflow of virtual staining are introduced, followed by a discussion of representative works and their technical innovations. We also share our perspectives on the future of this emerging field, aiming to inspire readers from diverse scientific fields to further expand the scope of deep learning-enabled virtual histological staining techniques and their applications.

研究の動機と目的

• 従来のヒストロロジカル染色に伴う時間とコストの問題、専用インfraや熟練した技術者の必要性を是正すること。
• 化学的染料や複雑なサンプル調製を不要とする、深層学習ベースの仮想染色技術の最近の進展をレビューすること。
• ラベルフリーおよび染色間変換の両方における仮想染色の技術的基盤、ワークフロー、革新について包括的な概説を提供すること。
• 仮想染色の臨床病理学およびライフサイエンス分野における可能性を強調することで、異分野連携研究を促進すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）および生成モデルを用いて、ラベルなしまたは異なる染色状態の組織画像と目的のヒストロロジカル染色とのマッピングを学習する。
• 未染色組織の明-fieldまたは位相差画像から現実的なヒストロロジカル染色を合成するため、条件付き生成対抗ネットワーク（cGAN）フレームワークを採用する。
• ラベルなしと対応する染色済み組織画像のペアデータセットを用いて、染色外観の転送をエンドツーエンドで学習する。
• ペアデータが不要なため、未対応の画像間変換が可能なサイクル整合性GAN（CycleGAN）を用いて、異なる染色モality間の染色転送を実現する。
• 生成画像の構造的および形態的正確性を向上させるために、アテンション機構とスキップ接続を活用する。
• 構造的類似度指数（SSIM）、平均二乗誤差（MSE）、および専門病理医による評価といった定量的指標を用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、未染色組織のラベルフリーまたは位相差画像からH&Eのような標準的ヒストロロジカル染色を正確に生成できるか？
• RQ2 仮想染色の性能は、形態的および診断的正確性の観点から、従来の化学的染色と比較してどの程度優れているか？
• RQ3 仮想染色は、さまざまな組織タイプおよび画像モダリティに一般化して適用可能か？
• RQ4 教師なし学習アプローチを用いて、ペア学習データがなくても仮想染色間の変換が可能か？
• RQ5 実際の病理学的現場での仮想染色の導入に際しての主な技術的および臨床的課題は何か？

主な発見

• 深層学習ベースの仮想染色は、高水準の構造的および色の正確性を達成しており、複数の研究でゴールドスタンダードの染色スライドと比較してSSIMスコアが0.90を超えることが確認された。
• 仮想染色モデルは、ラベルなしまたは位相差画像からH&Eに類似した染色を生成でき、組織分類タスクにおいて従来の染色と同等の診断正確性を示した。
• ペアデータが不要な未対応画像変換手法（例：CycleGAN）により、H&Eからパピニコラウ染色、またはその逆への効果的な染色変換が可能となり、性能劣化は最小限に抑えられた。
• 染色時間は数時間から数秒に短縮され、有害な染料や専用ラボ機器の必要がなくなった。
• 専門病理医による評価では、肝臓、大腸、乳腺組織を含む複数の組織タイプにおいて、仮想染色が診断的に信頼できることが確認された。
• 低コスト、高速性、最小限のインfra要件のため、リソース制約のある環境への応用可能性が極めて高いと示された。