[논문 리뷰] Artificial confocal microscopy for deep label-free imaging

Xi Chen, Mikhail E. Kandel외 9명|arXiv (Cornell University)|2021. 10. 28.

Digital Holography and Microscopy참고 문헌 46인용 수 6

한 줄 요약

이 논문은 양자적 위상 영상 데이터에서 심층 신경망을 훈련시켜 공명형 형광 영상과 유사한 영상을 예측함으로써 고대비, 깊이 해상도가 뛰어난 레이블 프리 영상 촬영을 가능하게 하는 인공 공명 현미경(ACM)을 소개한다. 이 방법은 미세구슬, 뉴런, 3D 구형체와 같은 레이블이 없는 생물학적 샘플에서 공명형 해상도의 단면 영상 성능을 달성하여 비침습적 핵 세분화 및 건조 질량 측정이 가능하게 하며, 빛에 의한 독성도를 유발하지 않는다.

ABSTRACT

Widefield microscopy methods applied to optically thick specimens are faced with reduced contrast due to spatial crosstalk, in which the signal at each point is the result of a superposition from neighboring points that are simultaneously illuminated. In 1955, Marvin Minsky proposed confocal microscopy as a solution to this problem. Today, laser scanning confocal fluorescence microscopy is broadly used due to its high depth resolution and sensitivity, which come at the price of photobleaching, chemical, and photo-toxicity. Here, we present artificial confocal microscopy (ACM) to achieve confocal-level depth sectioning, sensitivity, and chemical specificity, on unlabeled specimens, nondestructively. We augmented a laser scanning confocal instrument with a quantitative phase imaging module, which provides optical pathlength maps of the specimen on the same field of view as the fluorescence channel. Using pairs of phase and fluorescence images, we trained a convolution neural network to translate the former into the latter. The training to infer a new tag is very practical as the input and ground truth data are intrinsically registered and the data acquisition is automated. Remarkably, the ACM images present significantly stronger depth sectioning than the input images, enabling us to recover confocal-like tomographic volumes of microspheres, hippocampal neurons in culture, and 3D liver cancer spheroids. By training on nucleus-specific tags, ACM allows for segmenting individual nuclei within dense spheroids for both cell counting and volume measurements. Furthermore, taking the estimated fluorescence volumes, as annotation for the phase data, we extracted dry mass information for individual nuclei. Finally, our results indicate that the network learning can be transferred between spheroids suspended in different media.

연구 동기 및 목표

• 광학적으로 두꺼운 샘플에서 공간적 교차 간섭으로 인해 이미지 대비가 떨어지는 넓은 시야 현미경의 한계를 극복하기 위해.
• 깊은 조직 영상에서 형광 레이블과 빛에 의한 독성을 제거하기 위해.
• 레이블이 없는 샘플에 대해 공명형 수준의 깊이 분할 능력을 갖춘 비침습적 고대비 영상 방법을 개발하기 위해.
• 유전자 또는 화학적 레이블 없이 3D 구형체에서 정량적 건조 질량 측정과 핵 세분화를 가능하게 하기 위해.
• 훈련된 모델이 다양한 구형체 배양 매체 간에서 이식 가능함을 입증하기 위해.

제안 방법

• 레이저 스캐닝 공명 현미경에 양자적 위상 영상(QPI) 모듈을 추가하여 동일한 시야에서 위상 및 형광 영상을 동시에 촬영한다.
• 위상 및 형광 영상 쌍을 사용하여 심층 신경망(CNN)을 훈련시켜 위상 데이터만으로 형광 영상과 유사한 영상을 예측하도록 한다.
• 내재적으로 정렬된 입력(위상)과 진짜 값(형광) 데이터를 사용해 종단 간(end-to-end)으로 훈련함으로써 자동이고 정확한 변환을 가능하게 한다.
• 훈련된 모델은 두꺼운 산란 샘플에서도 여전히 향상된 깊이 분할 능력을 갖춘 인공 공명 영상과 유사한 영상을 생성한다.
• 예측된 형광 부피 영상가 허용된 가짜 애너테이션으로서 사용되어 조밀한 구형체 내 개별 핵의 세분화 및 건조 질량 추출에 활용된다.
• 동일한 네트워크를 다른 매체에서 배양된 구형체에 적용하여 모델의 이식 가능성과 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 심층 학습 모델이 두꺼운, 레이블이 없는 샘플에서 양자적 위상 영상에서 공명형 형광 영상과 유사한 영상을 예측하여 깊이 분할 능력을 향상시킬 수 있는가?
• RQ2 예측된 형광 부피 영상가 레이블 없이 조밀한 3D 구형체 내 개별 핵의 정확한 세분화를 가능하게 할 수 있는가?
• RQ3 위상 데이터에서 유도된 추정된 형광 부피 영상에서 건조 질량을 정량화할 수 있는가?
• RQ4 훈련된 모델이 다양한 생물학적 환경, 예를 들어 다양한 구형체 배양 매체 간에서 일반화 가능한가?
• RQ5 이 방법이 광분해나 화학적 레이블 없이 공명형 수준의 대비와 해상도를 달성할 수 있는가?

주요 결과

• ACM은 전통적인 넓은 시야 영상 또는 위상 영상보다 훨씬 강력한 깊이 분할 능력을 보이며, 구형체나 3D 구형체 내부의 구조를 명확히 시각화할 수 있다.
• 이 방법은 조밀한 3D 간암 구형체에서 개별 핵의 세분화를 성공적으로 수행하여 정확한 세포 수 계산과 부피 측정이 가능하게 한다.
• 위상 데이터에서 유도된 추정된 형광 부피 영상로부터 개별 핵의 건조 질량을 높은 정밀도로 정량화할 수 있다.
• 훈련된 모델는 다양한 구형체 배양 매체 간에서 이식 가능성을 보이며, 다양한 생물학적 조건에 대한 강력한 일반화 능력을 나타낸다.
• 이 방법은 빛에 의한 독성, 화학적 레이블, 광분해 없이도 레이블이 없는 샘플에서 공명형 수준의 단층 영상 촬영을 달성한다.