[論文レビュー] Digital staining in optical microscopy using deep learning -- a review

Lucas Kreiß, Shaowei Jiang+14 more|arXiv (Cornell University)|Mar 14, 2023

Image Processing Techniques and Applications参考文献 150被引用数 4

ひとこと要約

本レビューは、光学顕微鏡における深層学習ベースのデジタル染色の最先端技術を要約したものであり、ニューラルネットワークがラベルフリーの光学コントラスト（例：位相差や明-field）を、合成ヒストロロジカル染色（例：H&E や免疫フラuroレッセンス）に変換するプロセスを扱う。主な貢献は、アーキテクチャ、損失関数、ベストプラクティスに関する包括的分析であり、高精細な仮想染色を実現する中心的役割を果たす生成モデル（例：GAN や U-Net 変種）の重要性を強調している。本技術は、迅速で破壊的でない、3次元対応の病理学的ワークフローの実現に潜在的である。

ABSTRACT

Until recently, conventional biochemical staining had the undisputed status as well-established benchmark for most biomedical problems related to clinical diagnostics, fundamental research and biotechnology. Despite this role as gold-standard, staining protocols face several challenges, such as a need for extensive, manual processing of samples, substantial time delays, altered tissue homeostasis, limited choice of contrast agents for a given sample, 2D imaging instead of 3D tomography and many more. Label-free optical technologies, on the other hand, do not rely on exogenous and artificial markers, by exploiting intrinsic optical contrast mechanisms, where the specificity is typically less obvious to the human observer. Over the past few years, digital staining has emerged as a promising concept to use modern deep learning for the translation from optical contrast to established biochemical contrast of actual stainings. In this review article, we provide an in-depth analysis of the current state-of-the-art in this field, suggest methods of good practice, identify pitfalls and challenges and postulate promising advances towards potential future implementations and applications.

研究の動機と目的

• 光学顕微鏡における深層学習を用いたデジタル染色の現状を分析すること。
• 強固な仮想染色モデルを訓練する際のメソドロジーベストプラクティス、一般的な落とし穴、技術的課題を特定すること。
• デジタル染色が研究およびバイオテクノロジー分野におけるバイオメディカルイメージングの加速と向上に果たす可能性を評価すること。
• 3次元イメージングおよび臨床的インビボ応用へのデジタル染色の適用可能性を検討すること。
• 一般化性、解釈可能性、臨床応用の観点から、現在のアプローチの限界を評価すること。

提案手法

• ラベルフリーの光学画像（例：位相差、明-field）を、対応する合成染色画像（例：H&E、免疫フラuroレッセンス）に変換するための教師あり深層学習を用いる。トレーニングにはペアデータが使用される。
• 画像間変換のための主要なアーキテクチャとして、畳み込みニューラルネットワーク（CNN）および生成的対抗ネットワーク（GAN）が用いられる。
• リアルさと構造的正確性を向上させるために、パーセプトゥアル損失、対抗損失、サイクル整合性損失などの損失関数が適用される。
• Google のインシリコラベルリングプロジェクトから得られるような、共登録済みのラベルフリーおよび染色済み顕微鏡画像の大規模データセットに依存する。
• モデルの多様なイメージング条件への耐性を高めるために、正規化手法とデータオーグメンテーションが用いられる。
• SSIM、LPIPS、FID などの指標を用いてモデル性能を評価し、実際の染色画像との定性的および定量的比較が行われる。

Figure 1: Basic principle of Digital staining (a) Example data showing phase contrast microscopy images as input to predict fluorescence images from specific antibody staining as ground truth. Images show human motor neurons stained for nuclei (DAPI), dendrites (anti-MAP2) and axons (anti-neurofilam

実験結果

リサーチクエスチョン

• RQ1 U-Net や GAN などの異なる深層学習アーキテクチャは、ラベルフリーの光学コントラストを仮想 H&E や蛍光染色に変換する際に、どのように性能を発揮するか？
• RQ2 多様な顕微鏡機器、染色プロトコル、組織種にわたる一般化を達成するにあたり、主な技術的課題は何か？
• RQ3 実際の染色と比較して、デジタル染色モデルは生物学的特異性と形態的正確性をどの程度保持できるか？
• RQ4 モデルの解釈可能性、耐性、診断病理学分野における臨床的受容性の観点で、主な制限要因は何か？
• RQ5 3次元、インビボ、マルチモodal な応用を含む、今後の発展分野やイノベーションの中で、現在の応用を超えるために最も有望な分野は何か？

主な発見

• 深層学習を用いたデジタル染色は、高精細な仮想染色を実現でき、パーセプトゥアル品質が実際の H&E や免疫フラuroレッセンス染色に近い水準に達している。
• GAN や U-Net をベースとした生成モデルは、従来の線形的手法や特徴工学的手法に比べ、微細な形態的詳細や組織構造をよりよく保持している。
• パーセプトゥアル損失および対抗損失の使用により、L2 に基づく損失と比較して、生成画像のリアルさと診断的関連性が顕著に向上している。
• 研究用データでは優れた性能を示すものの、異なる顕微鏡機器、固定法、組織種にわたる一般化性は依然として限定的であり、臨床応用における主要な障壁であることが浮き彫りになった。
• 規制的ハードルとデータ品質の問題を踏まえると、現在のところ、臨床的診断に向けた日常的応用よりも、細胞培養や前臨床研究分野での実用的・商業的実現可能性が高い。
• 今後の応用は、3次元イメージング、オルガノイド、インビボ内視鏡イメージングへと拡張される可能性があり、特に解釈可能で耐性のある深層学習アーキテクチャの進歩がその実現を後押しする。

Figure 2: Pairings of input and target contrast Target image contrast is plotted against the input contrast, with the number of publications for each combination as a color-coded heat map. IHC = immuno-histochemcial stain, IF = immuno-fluorescence stain, WF = wide field (white light illumination), A