[論文レビュー] Virtual Histology with Photon Absorption Remote Sensing using a Cycle-Consistent Generative Adversarial Network with Weakly Registered Pairs

James E. D. Tweel, Benjamin R. Ecclestone+4 more|arXiv (Cornell University)|Jun 14, 2023

Cell Image Analysis Techniques被引用数 4

ひとこと要約

本論文は、光子吸収リモートセンシング（PARS）顕微鏡とサイクル整合性のある生成的対抗ネットワーク（CycleGAN）を組み合わせたラベルフリーの仮想ヒストケミカル染色法を提案する。この手法により、染色されていない組織断片からH&E様の仮想組織像が生成される。PARSデータに自己教師型Noise2Voidノイズ除去ネットワークと、新規の機械的スキャン誤差補正アルゴリズムを適用することで、0.5ミクロン未満の構造分解能を達成し、悪性皮膚および乳腺組織においてゴールドスタンダードのH&E染色と見分けがつかない仮想染色像が得られた。

ABSTRACT

Modern histopathology relies on the microscopic examination of thin tissue sections stained with histochemical techniques, typically using brightfield or fluorescence microscopy. However, the staining of samples can permanently alter their chemistry and structure, meaning an individual tissue section must be prepared for each desired staining contrast. This not only consumes valuable tissue samples but also introduces delays in essential diagnostic timelines. In this work, virtual histochemical staining is developed using label-free photon absorption remote sensing (PARS) microscopy. We present a method that generates virtually stained histology images that are indistinguishable from the gold standard hematoxylin and eosin (H&E) staining. First, PARS label-free ultraviolet absorption images are captured directly within unstained tissue specimens. The radiative and non-radiative absorption images are then preprocessed, and virtually stained through the presented pathway. The preprocessing pipeline features a self-supervised Noise2Void denoising convolutional neural network (CNN) as well as a novel algorithm for pixel-level mechanical scanning error correction. These developments significantly enhance the recovery of sub-micron tissue structures, such as nucleoli location and chromatin distribution. Finally, we used a cycle-consistent generative adversarial network CycleGAN architecture to virtually stain the preprocessed PARS data. Virtual staining is applied to thin unstained sections of malignant human skin and breast tissue samples. Clinically relevant details are revealed, with comparable contrast and quality to gold standard H&E-stained images. This work represents a crucial step to deploying label-free microscopy as an alternative to standard histopathology techniques.

研究の動機と目的

• 従来の組織病理学には恒久的染色が必要であり、貴重な組織サンプルを消費するという制限を克服すること。
• 光子吸収リモートセンシング（PARS）顕微鏡を用いた破壊的でない、ラベルフリーの従来のヒストケミカル染色の代替法を開発すること。
• 化学的染色を一切行わず、ラベルなしで未染色組織断片から高精細な仮想H&E染色画像を生成すること。
• 1枚の組織断片から迅速かつ繰り返し可能で、複数のコントラストを備えた組織学的評価を可能にすること。

提案手法

• 薄い未染色ヒト組織断片から、PARS顕微鏡を用いて紫外線吸収画像を取得する。
• 放射的および非放射的PARS画像のノイズを除去するために、自己教師型Noise2Void畳み込みニューラルネットワーク（CNN）を適用する。
• ピクセルレベルの機械的スキャン誤差補正アルゴリズムを新規に実装し、0.5ミクロン未満の構造的忠実度を向上させる。
• サイクル整合性のある生成的対抗ネットワーク（CycleGAN）を用いて、事前処理済みPARS画像を仮想H&E染色画像に変換する。
• 組織の形態を異なるモダリティ間で整合させるために、弱い登録がなされたPARS画像とH&E画像のペアを用いてCycleGANを訓練する。
• 悪性皮膚および乳腺組織サンプルにおいて、仮想染色出力がゴールドスタンダードのH&E染色組織学的画像と照合されるかを検証する。

実験結果

リサーチクエスチョン

• RQ1 PARS顕微鏡データは、核小体やクロマチン分布といった0.5ミクロン未満の組織構造を効果的に回復できるか？
• RQ2 CycleGANアーキテクチャは、実際のH&E染色と見分けがつかないような仮想H&E染色画像をどの程度生成できるか？
• RQ3 Noise2Voidノイズ除去と機械的誤差補正の組み合わせが、仮想染色に適したラベルフリーPARS画像の品質をどの程度向上させるか？
• RQ4 弱い登録がなされたPARS画像とH&E画像のペアを用いたCycleGANによる仮想染色は、臨床的意義のあるコントラストと分解能を達成できるか？
• RQ5 提案手法は、化学的染色や組織の消費なしに、診断に必要な組織学的特徴を保持できるか？

主な発見

• Noise2Voidノイズ除去ネットワークにより、PARS画像の信号対ノイズ比が顕著に向上し、0.5ミクロン未満の構造が明瞭に可視化された。
• 新規の機械的スキャン誤差補正アルゴリズムにより、ピクセルレベルのアライメントが向上し、PARS由来画像の構造的正確性が向上した。
• CycleGANを用いた仮想染色により、ゴールドスタンダードのH&E染色と同等のコントラストとテクスチャ品質の画像が得られた。
• 臨床的意義のある組織学的特徴、特にクロマチン分布および核小体の形態が、仮想染色画像で明確に解像された。
• 1枚の未染色組織断片から高精細な仮想組織像が得られ、化学的染色および組織の消費が不要になった。
• 本手法は、ラベルフリーで複数コントラストが可能な組織病理学的手法としての実用可能性を示し、リアルタイム診断応用への可能性を示した。