[論文レビュー] Artificial confocal microscopy for deep label-free imaging

Xi Chen, Mikhail E. Kandel+9 more|arXiv (Cornell University)|Oct 28, 2021

Digital Holography and Microscopy参考文献 46被引用数 6

ひとこと要約

本稿では、定量的位相像データからコントラストが高く、深さ分解能があり、標識なしの画像を可能にする深層学習手法である人工共焦点顕微鏡（ACM）を紹介する。この手法は畳み込みニューラルネットワークを用いて、位相像データから共焦点蛍光像に類似した画像を予測するように訓練する。このアプローチにより、マイクロスフィア、ニューロン、3次元スフェロイドなどの標識なしの生物標本において、共焦点顕微鏡並みの断層像を得ることができ、光傷害を伴わず、非侵襲的核セグメンテーションと乾燥質量の定量が可能となる。

ABSTRACT

Widefield microscopy methods applied to optically thick specimens are faced with reduced contrast due to spatial crosstalk, in which the signal at each point is the result of a superposition from neighboring points that are simultaneously illuminated. In 1955, Marvin Minsky proposed confocal microscopy as a solution to this problem. Today, laser scanning confocal fluorescence microscopy is broadly used due to its high depth resolution and sensitivity, which come at the price of photobleaching, chemical, and photo-toxicity. Here, we present artificial confocal microscopy (ACM) to achieve confocal-level depth sectioning, sensitivity, and chemical specificity, on unlabeled specimens, nondestructively. We augmented a laser scanning confocal instrument with a quantitative phase imaging module, which provides optical pathlength maps of the specimen on the same field of view as the fluorescence channel. Using pairs of phase and fluorescence images, we trained a convolution neural network to translate the former into the latter. The training to infer a new tag is very practical as the input and ground truth data are intrinsically registered and the data acquisition is automated. Remarkably, the ACM images present significantly stronger depth sectioning than the input images, enabling us to recover confocal-like tomographic volumes of microspheres, hippocampal neurons in culture, and 3D liver cancer spheroids. By training on nucleus-specific tags, ACM allows for segmenting individual nuclei within dense spheroids for both cell counting and volume measurements. Furthermore, taking the estimated fluorescence volumes, as annotation for the phase data, we extracted dry mass information for individual nuclei. Finally, our results indicate that the network learning can be transferred between spheroids suspended in different media.

研究の動機と目的

• 光的に厚い標本において、空間的クロストークが画像コントラストを低下させるため、広視野顕微鏡の限界を克服すること。
• 深部組織画像化における蛍光標識の必要性と光傷害を排除すること。
• 標識なしの標本に対して、共焦点顕微鏡並みの深さ分解能を持つ非侵襲的でコントラストの高い画像化手法を開発すること。
• 遺伝的または化学的標識なしに、3次元スフェロイドにおける定量的乾燥質量測定と核セグメンテーションを可能にすること。
• 訓練済みモデルの異なるスフェロイド培養培地間での汎用性を実証すること。

提案手法

• レーザー走査共焦点顕微鏡に定量的位相像（QPI）モジュールを追加し、同じ視野で位相像と蛍光像を同時に取得する。
• 位相像と蛍光像のペアを用いて、畳み込みニューラルネットワーク（CNN）を、位相データのみから蛍光像に類似した画像を予測するように訓練する。
• 入力（位相）と正解（蛍光）が内在的に登録されたデータを用いて、エンドツーエンドで訓練することで、自動的かつ正確な変換が可能になる。
• 訓練済みモデルは、厚く散乱する標本でさえも、強化された深さ分解能を持つ人工共焦点像を生成する。
• 予測された蛍光ボリュームは、密なスフェロイド内の個々の核を抽出するための仮想アノテーションとして使用される。
• 同じネットワークを異なる培地で培養されたスフェロイドに対してテストすることで、モデルの汎用性を検証した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、定量的位相像から、厚く標識なしの標本において、共焦点像に類似した画像を予測し、深さ分解能を向上させることができるか？
• RQ2 予測された蛍光ボリュームは、標識なしで密な3次元スフェロイド内の個々の核を正確にセグメンテーションできるか？
• RQ3 位相データからのみ推定された蛍光ボリュームから、乾燥質量を正確に定量できるか？
• RQ4 訓練済みモデルは、異なる生物学的環境（例えば、異なるスフェロイド培養培地）に一般化できるか？
• RQ5 この手法は、光酸化や化学的標識なしに、共焦点顕微鏡並みのコントラストと分解能を達成できるか？

主な発見

• ACMは、従来の広視野顕微鏡や位相像と比較して、はるかに強い深さ分解能を実現し、マイクロスフィアや3次元スフェロイド内の内部構造を明確に可視化できる。
• この手法は、密な3次元肝細胞癌スフェロイドにおける個々の核のセグメンテーションに成功し、正確な細胞数カウントと体積測定が可能となった。
• 位相データからの推定された蛍光ボリュームを用いて、個々の核の乾燥質量を高い精度で定量した。
• 訓練済みモデルは、異なるスフェロイド培養培地間でも汎用性を示し、さまざまな生物学的条件下への強固な一般化能力を確認した。
• このアプローチは、光傷害や化学的標識、光酸化なしに、標識なしの標本で共焦点顕微鏡に類似したトモグラフィック画像を実現した。