[논문 리뷰] 3D Deep Learning Enables Fast Imaging of Spines through Scattering Media by Temporal Focusing Microscopy

Zhun Wei, Josiah R. Boivin외 5명|arXiv (Cornell University)|2019. 12. 24.

Advanced Fluorescence Microscopy Techniques참고 문헌 45인용 수 5

한 줄 요약

이 논문은 시간적 집중 현미경(TFM) 영상에서 저해상도이자 노이즈가 많은 영상을, 점스캔 두광자 현미경(PSTPM) 수준의 고해상도 및 고신호대노이즈비(SNR) 영상으로 변환하는 3D 컨volution 신경망(CNN)을 제시한다. TFM에서 PSTPM 모달리티로의 매핑을 학습함으로써, 이 방법은 이전에 TFM에서 달성할 수 없었던 해상도와 대trast를 갖춘 빠른 생체 내 이미징을 가능하게 하며, PSTPM보다 한계에서 한두 계단 빠른 속도를 달성한다.

ABSTRACT

Today the gold standard for in vivo imaging through scattering tissue is the point-scanning two-photon microscope (PSTPM). Especially in neuroscience, PSTPM is widely used for deep-tissue imaging in the brain. However, due to sequential scanning, PSTPM is slow. Temporal focusing microscopy (TFM), on the other hand, focuses femtosecond pulsed laser light temporally, while keeping wide-field illumination, and is consequently much faster. However, due to the use of a camera detector, TFM suffers from the scattering of emission photons. As a result, TFM produces images of poor spatial resolution and signal-to-noise ratio (SNR), burying fluorescent signals from small structures such as dendritic spines. In this work, we present a data-driven deep learning approach to improve resolution and SNR of TFM images. Using a 3D convolutional neural network (CNN) we build a map from TFM to PSTPM modalities, to enable fast TFM imaging while maintaining high-resolution through scattering media. We demonstrate this approach for in vivo imaging of dendritic spines on pyramidal neurons in the mouse visual cortex. We show that our trained network rapidly outputs high-resolution images that recover biologically relevant features previously buried in the scattered fluorescence in the TFM images. In vivo imaging that combines TFM and the proposed 3D convolution neural network is one to two orders of magnitude faster than PSTPM but retains the high resolution and SNR necessary to analyze small fluorescent structures. The proposed 3D convolution deep network could also be potentially beneficial for improving the performance of many speed-demanding deep-tissue imaging applications such as in vivo voltage imaging.

연구 동기 및 목표

• 두꺼운 조직 내에서 광자 산산이 흩어지는 현상으로 인해 발생하는 TFM의 낮은 공간 해상도와 낮은 신호대노이즈비(SNR)를 해결하기 위해.
• 해상도나 SNR를 희생시키지 않고도 쥐의 시각 피질에서의 뉴런 수상돌기 스파인을 빠르게 생체 내에서 영상 촬영할 수 있도록 하기 위해.
• TFM에서 PSTPM 영상 모달리티로의 매핑을 학습하는 데이터 기반 딥 러닝 프레임워크를 개발하기 위해.
• 제안된 방법이 원시 TFM 영상에서 가려진 생물학적으로 의미 있는 스파인 구조를 복원할 수 있음을 입증하기 위해.

제안 방법

• 3D TFM 영상 볼륨에서 해당하는 고품질 3D PSTPM 영상 볼륨으로의 매핑을 학습하기 위해 3D 컨volution 신경망(CNN)을 훈련한다.
• 공통된 생물학적 샘플에서 획득한 TFM 및 PSTPM 영상의 쌍체 데이터셋을 사용하여 공간적 대응을 보장한다.
• 3D CNN 아키텍처는 볼륨 데이터를 직접 처리함으로써 공간적 맥락을 유지하고, 복잡한 영상 열화 패턴의 엔드 투 엔드 학습을 가능하게 한다.
• 예측된 영상와 진정된 PSTPM 영상 간의 픽셀 단위 재구성 오차를 최소화하는 손실 함수를 사용하여 모델을 최적화한다.
• 실시간 추론을 가능하게 하여 TFM 데이터로부터 고해상도 영상을 신속하게 생성할 수 있다.
• 이 방법은 일반화 가능하며 산란 매질에서 해상도와 SNR 향상이 필요한 다른 빠른 영상 모달리티에 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 생체 내 뉴런 수상돌기의 산산이 흩어진 TFM 영상에서 고해상도의 구조적 세부 정보를 효과적으로 복원할 수 있는가?
• RQ2 3D CNN 기반의 TFM 재구성 성능는 해상도, SNR, 영상 속도 측면에서 전통적인 PSTPM와 비교해 어떻게 되는가?
• RQ3 훈련된 네트워크가 원시 TFM 영상에서 가려진 생물학적으로 의미 있는 스파인 형태를 어느 정도 복원할 수 있는가?
• RQ4 제안된 방법은 다양한 깊이와 조직 산란 조건에서도 높은 정밀도를 유지할 수 있는가?

주요 결과

• 3D CNN은 산산이 흩어지고 노이즈가 많아서 원시 TFM 영상에서는 구분이 어려운 미세한 뉴런 수상돌기 구조를 성공적으로 복원한다.
• 재구성된 영상들은 현재 금표로 여겨지는 점스캔 두광자 현미경(PSTPM) 수준의 해상도와 SNR를 달성한다.
• PSTPM보다 한계에서 한두 계단 빠른 속도로 영상 촬영 속도가 향상되어 더 빠른 생체 내 촬영이 가능하다.
• 생물학적 정밀도를 유지하여 스파인과 같은 작은 형광 구조의 정확한 탐지 및 분석이 가능하다.
• 다양한 영상 깊이와 생물학적 샘플에 걸쳐 네트워크가 잘 일반화되어 산란 환경에서도 강건함을 입증한다.
• 이 방법은 속도와 해상도가 중요한 응용 분야, 예를 들어 생체 내 전압 영상 촬영 등으로 확장 가능하다.