[논문 리뷰] Learning to Reconstruct Confocal Microscopy Stacks from Single Light Field Images

Josué Page Vizcaíno, Federico Saltarin외 3명|arXiv (Cornell University)|2020. 03. 24.

Cell Image Analysis Techniques참고 문헌 34인용 수 8

한 줄 요약

이 논문은 단일 라이트 필드 현미경(LFM) 영상에서 고해상도 3D 공중합 현미경 스택을 복원하기 위한 딥러닝 기반 방법인 LFMNet을 제안한다. 이는 추론 시간이 50ms이며, 기존 공중합 현미경 대비 스캔 시간을 720배 감소시키고 저장 용량을 64배 줄인다. 이 방법은 실제 쌍체 LFM 및 공중합 데이터를 사용해 훈련함으로써 실시간 생체 내 3D 현미경에 적합한 거의 공중합 수준의 복원 품질을 달성한다.

ABSTRACT

We present a novel deep learning approach to reconstruct confocal microscopy stacks from single light field images. To perform the reconstruction, we introduce the LFMNet, a novel neural network architecture inspired by the U-Net design. It is able to reconstruct with high-accuracy a 112x112x57.6$μm^3$ volume (1287x1287x64 voxels) in 50ms given a single light field image of 1287x1287 pixels, thus dramatically reducing 720-fold the time for confocal scanning of assays at the same volumetric resolution and 64-fold the required storage. To prove the applicability in life sciences, our approach is evaluated both quantitatively and qualitatively on mouse brain slices with fluorescently labelled blood vessels. Because of the drastic reduction in scan time and storage space, our setup and method are directly applicable to real-time in vivo 3D microscopy. We provide analysis of the optical design, of the network architecture and of our training procedure to optimally reconstruct volumes for a given target depth range. To train our network, we built a data set of 362 light field images of mouse brain blood vessels and the corresponding aligned set of 3D confocal scans, which we use as ground truth. The data set will be made available for research purposes.

연구 동기 및 목표

• 기존 공중합 현미경의 높은 광독성, 긴 스캔 시간, 큰 저장 용량 요구 사항을 해결하기 위해.
• 모델 기반 탈포화의 한계인 낮은 공간 해상도, 아티팩트, 높은 계산 비용을 극복하기 위해.
• 합성 데이터 대신 실제 정렬된 데이터를 사용해 단일 LFM 영상에서 고 fidelity 3D 볼륨을 복원하는 딥러닝 방법을 개발하기 위해.
• 수집 및 복원 시간을 극적으로 단축시켜 실시간 생체 내 3D 영상 촬영을 가능하게 하기 위해.

제안 방법

• 단일 LFM 영상에서 3D 볼륨 복원을 위한 U-Net 유사 컨볼루션 신경망 아키텍처인 LFMNet을 제안한다.
• 실제로 쌍체로 이루어진 362개의 라이트 필드 영상 및 해당 3D 공중합 현미경 스택 데이터셋을 사용해 네트워크를 훈련시킨다.
• 수동 레이블링 없이 모델 기반 복원과 2D 상관도 맵을 활용해 LFM 영상와 공중합 볼륨을 정렬하는 새로운 정렬 기법을 도입한다.
• 공간적 및 각도적 시야를 포함한 4차원 라이트 필드 표현을 사용하며, 각 마이크로 렌즈는 다른 각도에서 빛을 캡처한다.
• 정렬을 향상시키기 위해 탈포화 기반 방법을 적용해 근사적인 날카운 볼륨을 생성함으로써 훈련 데이터 품질을 향상시킨다.
• 광학 설계와 PSF 모델링에 기반해 특정 깊이 범위에 집중함으로써 네트워크 훈련을 최적화한다.

실험 결과

연구 질문

• RQ1 실제 LFM 및 공중합 데이터로 훈련된 딥러닝 모델이 공중합 현미경 수준의 복원 품질을 달성할 수 있는가?
• RQ2 합성 데이터 대비 실제 데이터를 사용할 경우 LFM 영상에서의 3D 복원 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 딥러닝 모델이 고해상도를 유지하면서 스캔 시간과 저장 요구 사항을 얼마나 줄일 수 있는가?
• RQ4 제안된 방법이 1초 미만의 복원 시간을 달성함으로써 실시간 생체 내 3D 현미경을 가능하게 할 수 있는가?
• RQ5 정의된 깊이 범위 내에서 고정밀 복원을 위한 최적의 광학 및 네트워크 설계는 무엇인가?

주요 결과

• LFMNet은 112×112×57.6µm³ 볼륨(1287×1287×64 벽소)을 50ms 내에 복원하여 공중합 스캔 시간을 720배 감소시키고 저장 용량을 64배 줄였다.
• 마우스 뇌 조각에서 형광으로 표시된 혈관을 대상으로 한 검증을 통해, 이 방법이 공중합 영상 수준의 복원 품질을 달성했다.
• 실제 쌍체 데이터(362개의 LFM 영상 및 정렬된 공중합 스택)를 사용함으로써 합성 데이터 훈련 대비 훨씬 뛰어난 일반화 능력을 확보했다.
• 정렬 절차는 피xls 이내 정밀도를 확보하여 수동 레이블링 없이도 고품질 훈련을 지원할 수 있었다.
• 네트워크는 1초당 10프레임의 복원 속도를 달성했으며, 이는 주로 카메라 노출 시간(100ms)에 의해 제한되어 실시간 영상 촬영 잠재력을 가졌다.
• 광학 설계 및 PSF 모델링 결과, 2.8µm 물체의 흐림은 약 20개의 마이크로 렌즈를 커버하며, 이는 네트워크 입력 및 커널 크기 선택에 정보를 제공했다.