[論文レビュー] 3D Deep Learning Enables Fast Imaging of Spines through Scattering Media by Temporal Focusing Microscopy

Zhun Wei, Josiah R. Boivin+5 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Fluorescence Microscopy Techniques参考文献 45被引用数 5

ひとこと要約

本論文では、時間的焦点化顕微鏡（TFM）の低解像度でノイズの多い時間的画像を、ポイントスキャン2光子顕微鏡（PSTPM）と同等の高解像度・高SNRの画像に変換する3次元畳み込みニューラルネットワーク（CNN）を提示する。TFMからPSTPMモダリティへのマッピングを学習することにより、従来のTFMでは達成できなかった解像度とコントラストを備えた、高速で生体イメージングが可能となり、PSTPMに比べ1〜2桁の高速化を実現した。

ABSTRACT

Today the gold standard for in vivo imaging through scattering tissue is the point-scanning two-photon microscope (PSTPM). Especially in neuroscience, PSTPM is widely used for deep-tissue imaging in the brain. However, due to sequential scanning, PSTPM is slow. Temporal focusing microscopy (TFM), on the other hand, focuses femtosecond pulsed laser light temporally, while keeping wide-field illumination, and is consequently much faster. However, due to the use of a camera detector, TFM suffers from the scattering of emission photons. As a result, TFM produces images of poor spatial resolution and signal-to-noise ratio (SNR), burying fluorescent signals from small structures such as dendritic spines. In this work, we present a data-driven deep learning approach to improve resolution and SNR of TFM images. Using a 3D convolutional neural network (CNN) we build a map from TFM to PSTPM modalities, to enable fast TFM imaging while maintaining high-resolution through scattering media. We demonstrate this approach for in vivo imaging of dendritic spines on pyramidal neurons in the mouse visual cortex. We show that our trained network rapidly outputs high-resolution images that recover biologically relevant features previously buried in the scattered fluorescence in the TFM images. In vivo imaging that combines TFM and the proposed 3D convolution neural network is one to two orders of magnitude faster than PSTPM but retains the high resolution and SNR necessary to analyze small fluorescent structures. The proposed 3D convolution deep network could also be potentially beneficial for improving the performance of many speed-demanding deep-tissue imaging applications such as in vivo voltage imaging.

研究の動機と目的

• 厚い組織内での光子散乱によって生じる、時間的焦点化顕微鏡（TFM）の固有の空間的解像度の低さと低SNRを克服すること。
• 解像度やSNRを犠牲にすることなく、マウス視覚皮質におけるシナプス小胞の高速で生体イメージングを可能にすること。
• TFMからPSTPM画像モダリティへのマッピングを学習するデータ駆動型ディープラーニングフレームワークを構築すること。
• 提案手法が、生体的に重要なシナプス小胞構造が生のTFM画像に隠れている状態から回復できることを示すこと。

提案手法

• 3次元TFM画像ボリュームから対応する高品質な3次元PSTPM画像ボリュームへのマッピングを学習する3次元畳み込みニューラルネットワーク（CNN）を訓練する。
• 同じ生物学的サンプルから取得したTFMおよびPSTPM画像のペアデータセットを用いてネットワークを訓練し、空間的整合性を保証する。
• 3次元CNNアーキテクチャはボリュームデータを直接処理し、空間的文脈を保持するとともに、複雑な画像劣化パターンのエンドツーエンド学習を可能にする。
• 予測画像と真値PSTPM画像との画素単位の再構成誤差を最小化する損失関数を用いてモデルを最適化する。
• リアルタイム推論が可能であり、TFMデータから高解像度画像を迅速に生成できる。
• 本手法は一般化可能であり、散乱媒体において解像度とSNRを向上させる必要がある他の高速イメージングモダリティへも応用可能である。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、生体におけるシナプス小胞の散乱と低SNRに起因する低品質なTFM画像から、高解像度の構造的詳細を効果的に回復できるか？
• RQ2 3次元CNNを用いたTFM再構成の性能は、従来のPSTPMと比較して解像度、SNR、およびイメージング速度の観点でどのように差がつくか？
• RQ3 訓練されたネットワークは、生のTFM画像に隠れている生物学的に重要なシナプス小胞の形態をどの程度回復できるか？
• RQ4 異なる深さや組織の散乱状態において、本手法は画像再構成の高忠実度を維持できるか？

主な発見

• 3次元CNNは、散乱と低SNRのために生のTFM画像では識別不能な細かなシナプス小胞構造を効果的に回復した。
• 再構成画像は、現在のゴールドスタンダードとされるポイントスキャン2光子顕微鏡（PSTPM）と同等の解像度とSNRを達成した。
• PSTPMに比べて1〜2桁の高速化が達成され、生体イメージングの高速取得が可能になった。
• 生物学的忠実度が保持されており、シナプスのような小さな蛍光構造の正確な検出と解析が可能となった。
• 異なるイメージング深さや生物学的サンプルにおいても、ネットワークの一般化性能が高く、散乱環境下でも安定した性能を示した。
• 本手法は、スピードと解像度が重要な他の高速イメージング応用分野、例えば生体内電位イメージングなどへも拡張可能である。