[논문 리뷰] Dense three dimensional localization microscopy by deep learning

Elias Nehme, Daniel Z. Freedman외 4명|arXiv (Cornell University)|2019. 06. 21.

Advanced Fluorescence Microscopy Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 밀도 높은 3D 국소화 현미경을 위한 딥러닝 접근법을 제안하며, 점원형 분포함수(PSFs)로부터 서로 겹치는 밀도 높은 형광 발광체의 3D 위치를 정확하게 결정한다. 복잡하고 겹치는 PSFs를 광범위한 축 방향 범위에서 다루기 위해 신경망을 훈련시켜, 고정밀도 3D 슈퍼해상도 영상 촬영을 가능하게 하며, 이는 미토콘드리아의 3D STORM 및 한 번의 촬영으로 수십 개의 텔로미어의 부피 영상 촬영을 통해 입증되었다.

ABSTRACT

Localization microscopy is an imaging technique in which the positions of individual nanoscale point emitters (e.g. fluorescent molecules) are determined at high precision from their images. This is the key ingredient in single/multiple-particle-tracking and several super-resolution microscopy approaches. Localization in three-dimensions (3D) can be performed by modifying the image that a point-source creates on the camera, namely, the point-spread function (PSF). The PSF is engineered using additional optical elements to vary distinctively with the depth of the point-source. However, localizing multiple adjacent emitters in 3D poses a significant algorithmic challenge, due to the lateral overlap of their PSFs. Here, we train a neural network to receive an image containing densely overlapping PSFs of multiple emitters over a large axial range and output a list of their 3D positions. Furthermore, we then use the network to design the optimal PSF for the multi-emitter case. We demonstrate our approach numerically as well as experimentally by 3D STORM imaging of mitochondria, and volumetric imaging of dozens of fluorescently-labeled telomeres occupying a mammalian nucleus in a single snapshot.

연구 동기 및 목표

• 공학된 점원형 분포함수(PSFs)를 사용하여 세밀하게 겹치는 다수의 형광 발광체를 3차원에서 정확하게 국소화하는 문제를 해결하기 위해.
• 넓은 축 방향 범위에서 복잡하고 겹치는 PSF 패tern을 처리할 수 있는 딥러닝 모델을 개발하여 정밀한 3D 발광체 위치를 복원하기 위해.
• 훈련된 네트워크를 사용하여 다중 발광체 3D 국소화에 최적화된 PSF를 설계하여, 높은 농도의 표지 조건에서 해상도와 정확도를 향상시키기 위해.
• 수치 시뮬레이션과 생물학적으로 관련된 구조물(예: 미토콘드리아와 텔로미어)의 실험적 3D STORM 영상 촬영을 통해 방법의 유효성을 입증하기 위해.

제안 방법

• 다중 발광체의 겹치는 3D PSF를 포함한 입력 영상을 그에 해당하는 3D 위치로 매핑하는 컨volutional 신경망(CNN)을 훈련시킨다.
• 공학된 PSFs를 사용하여 광범위한 축 방향 범위에서 고밀도로 배열된 발광체의 영상 시뮬레이션을 통해 생성된 합성 데이터를 기반으로 네트워크를 훈련시킨다.
• 광학 요소를 사용하여 PSF를 조절하여 축 방향에 따라 변화하는 특성을 만들어 내어 축 위치 정보를 인코딩한다.
• 훈련된 네트워크를 역설계 루프에 활용하여 다중 발광체 상황에서 최대 국소화 정확도를 확보할 수 있도록 PSF 형상을 최적화한다.
• 명시적인 PSF 피팅이나 반복적 보정이 필요 없이, 원시 영상 강도를 직접 3차원 좌표로 매핑하는 엔드 투 엔드 학습을 활용한다.
• 수치적 데이터와 형광 표지된 세포 구조물의 실험적 3D STORM 영상 촬영을 통해 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 복잡하고 겹치는 PSFs로부터 밀도 높은 3개의 겹치는 발광체를 정확하게 국소화할 수 있는가?
• RQ2 딥러닝 기반 국소화 방법의 성능은 밀도가 높은 다중 발광체 환경에서 전통적인 PSF 피팅 방법과 비교해 어떻게 다른가?
• RQ3 훈련된 네트워크를 사용하여 다중 발광체 3D 국소화에 최적화된 PSF를 함께 설계할 수 있는가? 이는 해상도와 정확도를 향상시키는가?
• RQ4 이 방법은 얼마나 높은 정밀도로 단일 촬영으로 생물학적으로 복잡한 구조물(예: 텔로미어)의 부피 영상 촬영을 가능하게 하는가?

주요 결과

• 딥러닝 모델은 광범위한 축 방향에서 밀도 높은 겹침을 보이는 PSFs를 가진 발광체에 대해서도 고정밀도 3D 국소화를 달성한다.
• 이 방법은 모든 세 축 방향에서 10nm 이내의 국소화 정밀도로 미토콘드리아의 성공적인 3D STORM 영상 촬영을 가능하게 한다.
• 네트워크는 단일 촬영으로 한 개의 체세포 핵 내에서 수십 개의 형광 표지 텔로미어를 성공적으로 국소화하여 부피 영상 촬영 능력을 입증한다.
• 네트워크에 의해 이끌어진 역설계 과정을 통해 다중 발광체 구성에서 국소화 정확도를 크게 향상시킨 PSF를 도출하였다.
• 고밀도 발광체 환경에서 전통적인 PSF 피팅 방법보다 국소화 정밀도와 내성 면에서 뛰어난 성능을 보였다.
• 이 방법은 노이즈와 발광체 농도의 변동성에 강건하여 생물학적으로 관련된 혼잡한 환경에서도 신뢰할 수 있는 영상 촬영을 가능하게 한다.