[논문 리뷰] Learning an optimal PSF-pair for ultra-dense 3D localization microscopy

Elias Nehme, Boris Ferdman외 5명|arXiv (Cornell University)|2020. 09. 29.

Advanced Fluorescence Microscopy Techniques참고 문헌 104인용 수 5

한 줄 요약

이 논문은 초고밀도 3D 단일 분자 국소화 현미경을 가능하게 하기 위해 엔드 투 엔드 미분 가능한 학습을 사용하는 이중점확산함수(PSF) 영상 시스템을 제안한다. 두 가지 상호보완적인 PSF—특히 Nebulae PSF 쌍—을 설계함으로써, 시뮬레이션과 고정세포 및 생세포 실험 모두에서 기존의 단일 PSF 및 이중 PSF 접근 방식보다 뛰어난 3D 검출 및 국소화 정밀도를 달성한다.

ABSTRACT

A long-standing challenge in multiple-particle-tracking is the accurate and precise 3D localization of individual particles at close proximity. One established approach for snapshot 3D imaging is point-spread-function (PSF) engineering, in which the PSF is modified to encode the axial information. However, engineered PSFs are challenging to localize at high densities due to lateral PSF overlaps. Here we suggest using multiple PSFs simultaneously to help overcome this challenge, and investigate the problem of engineering multiple PSFs for dense 3D localization. We implement our approach using a bifurcated optical system that modifies two separate PSFs, and design the PSFs using three different approaches including end-to-end learning. We demonstrate our approach experimentally by volumetric imaging of fluorescently labelled telomeres in cells.

연구 동기 및 목표

• 고밀도 3D 국소화 현미경에서 횡방향 PSF 겹침으로 인한 성능 저하 문제를 해결하기 위해 단일 PSF 설계의 한계를 극복하는 것.
• 서로 다른 두 개의 PSF를 공동 최적화하여 초고밀도 샘플에서 검출 및 국소화 정밀도를 향상시키는 다중 PSF 시스템을 개발하는 것.
• 엔드 투 엔드 미분 가능한 영상 및 딥 러닝을 활용해 광학 시스템(위상 마스크)과 국소화 알고리즘을 함께 최적화하는 것.
• 고정세포 및 생세포에서 텔로미어를 형광으로 표지한 U2OS 세포의 3D 영상 촬영을 통해 실험적으로 접근 방식을 검증하고, 고밀도 영역에서의 성능 향상을 입증하는 것.

제안 방법

• 액정 공간 빛 조절 장치(LC-SLMs)를 공액 배경 초점 평면에 배치하여 두 개의 독립된 광학 경로를 갖는 분할 광학 시스템을 설계하고, 각각 다른 위상 마스크를 적용한다.
• 세 가지 PSF 쌍 설계 전략을 적용: (1) Cramér-Rao 하한(CRLB) 기반 최적화, (2) Tetrapod-EDOF 쌍, (3) 딥 뉴럴 네트워크를 사용한 엔드 투 엔드 미분 가능한 학습.
• 미분 가능한 영상 모델을 활용해 국소화 오차 기울기를 광학 시스템을 거쳐 역전파함으로써 위상 마스크와 국소화 네트워크를 공동 최적화한다.
• 이중 채널 영상에서 3D 위치를 추정하기 위해 딥 뉴럴 네트워크를 훈련시키며, 횡방향 및 축방향의 Jaccard 지수와 평균 제곱근 오차(RMSE) 기반 손실 함수를 사용한다.
• 1개 발광체당 15,000개의 신호 광자와 1픽셀당 500개의 배경 광자를 가진 시뮬레이션 데이터를 사용해 PSF 쌍을 검증하고, 고정세포 및 생세포 샘플에서 결과를 확인한다.
• 최적화된 Nebulae PSF 쌍을 활용해 U2OS 세포에서 형광으로 표지된 텔로미어의 3D 슈퍼해상도 영상 촬영을 수행하여 높은 재구성 정밀도를 달성한다.

실험 결과

연구 질문

• RQ1 이중 PSF 시스템은 단일 PSF 방법에 비해 초고밀도 3D 단일 분자 국소화 현미경에서 검출 및 국소화 성능을 크게 향상시킬 수 있는가?
• RQ2 광학 시스템과 국소화 알고리즘을 엔드 투 엔드로 미분 가능한 최적화하는 것이 고밀도 3D 영상에 적합한 PSF 쌍을 도출하는 데 유의미한 성능 향상을 가져오는가?
• RQ3 실제 노이즈 및 밀도 조건 하에서 CRLB 기반, Tetrapod-EDOF, 엔드 투 엔드로 학습된 PSF 쌍의 성능을 비교했을 때 검출 정확도와 국소화 정밀도 측면에서 어떤 차이가 있는가?
• RQ4 학습된 Nebulae PSF 쌍은 발광체 밀도와 신호 대 잡음비가 낮은 생세포 영상에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 고정세포 실험에서 Nebulae PSF 쌍은 85.29%의 최고 Jaccard 지수를 기록하여 Tetrapod-EDOF 쌍(67.65%)과 CRLB 쌍(74.53%)을 크게 앞서며 뚜렷한 성능 우위를 보였다.
• 142개의 발광체를 포함한 더 큰 세포에서는 Nebulae PSF 쌍이 Jaccard 지수 91.84%로 가장 높은 성능을 유지했으며, Tetrapod-EDOF는 87.67%, CRLB는 91.03%를 기록했다.
• 엔드 투 엔드로 학습된 Nebulae PSF 쌍은 고밀도 조건에서 축방향 RMSE 측면에서 단일 채널 엔드 투 엔드 최적화 PSF를 초월하는 최고의 축방향 국소화 정밀도를 달성했다.
• Tetrapod-EDOF 쌍의 가짜 음성은 주로 낮은 신호 효율성으로 인한 것으로, 잡음 수준 근처의 발광체가 감지되지 않아 발생했으며, 이는 더 높은 신호 효율성을 가진 Nebulae PSF로 개선되었다.
• 시뮬레이션 결과, Nebulae PSF 쌍은 모든 테스트된 발광체 밀도에서 검출(지수 기반 Jaccard 지수)과 국소화 정밀도(횡방향 및 축방향 RMSE) 측면에서 모든 대안보다 뛰어난 성능을 보였다.
• 이중 채널 시스템은 생세포에서 텔로미어의 안정적인 3D 슈퍼해상도 영상 촬영을 가능하게 하여, 이 접근 방식이 동적 생물학 연구에 실용적으로 적용될 수 있음을 입증했다.