[논문 리뷰] 3D Snapshot Microscopy of Extended Objects

Xiang Huang, Alan Selewa외 12명|arXiv (Cornell University)|2018. 02. 05.

Integrated Circuits and Semiconductor Failure Analysis참고 문헌 24인용 수 3

한 줄 요약

이 논문은 다중초점 현미경(MFM)과 희박성 기반 복원 기법을 사용하여 1장의 카메라 프레임에 25개의 초점 평면을 깊이로 인코딩함으로써, 25 Hz에서 박테리아와 같은 동적인 확장된 형광 물체를 촬영하고, 공진미경과 유사한 부피 해상도를 달성하는 3D 스냅샷 현미경 기법을 제시한다. 복소 측정 기반 프레임워크를 활용함으로써 순차적 스캐닝 없이 고속·고정밀 3D 영상 촬영이 가능해지며, 생물학적 동역학의 실시간 연구를 가능하게 한다.

ABSTRACT

Volumetric biological imaging often involves compromising high temporal resolution at the expense of high spatial resolution when popular scanning methods are used to capture 3D information. We introduce an integrated experimental and image reconstruction method for capturing dynamic 3D fluorescent extended objects as a series of synchronously measured 3D snapshots taken at the frame rate of the imaging camera. We employ multifocal microscopy (MFM) to simultaneously image at 25 focal planes and process this depth-encoded image to recover the 3D structure of extended objects, such as bacteria, using a sparsity-based reconstruction approach. The combined experimental and computational method produces image quality similar to confocal microscopy in a fraction of the acquisition time. In addition, our computational image reconstruction approach allows a simplified MFM optical design by correcting aberrations using the measured response to point sources. This "compressive" MFM acquisition and reconstruction method, where an image volume with roughly 8 million voxels is recovered from a single 1-megapixel captured image, enables straightforward study of dynamic processes in 3D, and as a simultaneous snapshot advances the state of the art in dynamic 3D microscopy.

연구 동기 및 목표

• 기존 3D 현미경에서 순차적 스캐닝으로 인한 시간-공간 상충 문제를 해결하기 위해.
• 점원자기반 가정 없이도 동적인 확장된 형광 생물 물체(예: 박테리아)에 대한 고속·고정밀 3D 영상 촬영을 가능하게 하기 위해.
• 희박성 사전 정보를 활용하여 단일 2D MFM 스냅샷에서 3D 구조를 복원하는 계산 기반 복원 프레임워크를 개발하기 위해.
• 측정된 점조직함수(PSF)를 통해 수차를 보정함으로써 복잡한 광학 부품에 의존도를 줄이고 MFM 광학 설계를 단순화하기 위해.
• 단일 카메라 스냅샷 촬영을 통해 실시간으로 살아있는 생물 샘플의 3D 동역학을 추적할 수 있도록 하기 위해.

제안 방법

• 이 방법은 분할형 광학 요소(DOE)를 사용하여 목표렌즈의 빛을 25개의 공간적으로 구분되는 깊이 인코딩된 부분 영상으로 분할하고, 이는 단일 EMCCD 검출기 상에 위치한다. 각 부분 영상은 서로 다른 초점 평면에 대응한다.
• 측정된 MFM 영상와 시스템의 정방향 모델 간의 차이를 최소화하는 희박성 기반 최적화 프레임워크를 사용하여 3D 부피 복원을 수행한다.
• 정방향 모델은 3D 물체 부피를 깊이에 따라 분리된 점조직함수(PSF)로 컨볼루션 처리하며, 각 z평면은 해당되는 2D PSF 타일과 컨볼루션되고, 결과는 예측된 MFM 영상을 형성하기 위해 합산된다.
• 복원은 물체 부피를 108 nm × 108 nm × 50 nm 해상도의 볼렉스로 이산화하며, 복원의 안정성을 확보하기 위해 강도와 기울기 크기의 희박성을 강제로 적용한다.
• DOE로 인한 색수차는 PSF 모델에 반영되어, 추가적인 광학 보정 요소 없이도 계산적으로 보정 가능하다.
• 50 nm 간격의 점원형 소스에서 실험적으로 측정한 PSF를 사용하여 시스템 반응을 校정함으로써, 확장된 물체의 정확한 복원이 가능해진다.

실험 결과

연구 질문

• RQ1 단일 카메라 스냅샷 촬영 기반 방법이 영상 속도 수준에서 확장된 형광 물체의 3D 부피 영상 촬영을 가능하게 할 수 있는가?
• RQ2 희박성 기반 복원 기법이 단일 MFM 스냅샷에서 박테리아와 같은 확장된 물체의 세밀한 3D 형광 분포를 복원할 수 있는가?
• RQ3 단순한 DOE로 유도된 수차를 복잡한 광학 부품 없이 계산적으로 얼마나 잘 보정할 수 있는가?
• RQ4 이 스냅샷 MFM 방법의 복원 품질이 해상도와 신호 정밀도 측면에서 공진미경과 비교해 어떻게 되는가?
• RQ5 박테리아의 확산 및 자세 변화와 같은 동적인 3D 과정을 이 스냅샷 방법을 통해 실시간으로 신뢰성 있게 추적할 수 있는가?

주요 결과

• 이 방법은 단일 100만 픽셀 MFM 영상에서 확장된 물체의 3D 부피 복원을 수행하며, 약 800만 볼렉스를 회복하고, 공진미경과 유사한 영상 품질을 달성한다.
• 단일 MFM 스냅샷으로 복원된 박테리아의 3D 부피는 공진미경 기준 부피와 비교해 피크 신호 대 잡음 비율(PSNR)이 47.33 dB에 도달한다.
• 이 방법은 카메라 프레임 속도에 의해 제한되는 25 Hz에서 동적인 3D 영상 촬영이 가능하며, 박테리아의 확산 및 자세 변화와 같은 3D 과정의 실시간 관찰이 가능하다.
• 50프레임(1.2초) 동안의 박테리아 중심점의 복원 궤적은 x, y, z축에서 정확한 추적을 보였으며, 세포가 3차원 공간에서 이동함에 따라 고도와 방위각의 변화가 관찰되었다.
• 이 방법은 박테리아의 미세한 구조적 특징을 성공적으로 해상화하였으며, 세포의 양극에 위치한 두 개의 형광 농축 루프를 100 nm 이내의 횡방향 해상도와 50 nm 축방향 해상도로 구분하였다.
• 박테리아의 공진미경 영상에서의 강도 및 기울기 크기의 누적분포함수(CDF)는 희박성 사전 정보의 타당성을 뒷받침하며, 희박한 신호와 일치하는 무거운 尾함수 분포를 보였다.