[논문 리뷰] Convolutional neural network for Fourier ptychography video reconstruction: learning temporal dynamics from spatial ensembles.

Thanh Hai Nguyen, Yujia Xue외 3명|arXiv (Cornell University)|2018. 04. 27.

Advanced X-ray Imaging Techniques참고 문헌 44인용 수 8

한 줄 요약

이 논문은 첫 번째 시간 프레임의 데이터만을 사용하여 시간적 동역학을 학습함으로써, 고공간대역폭제품(SBP)을 가진 동적 생세포 영상의 복원을 위해 컨volutional 신경망(CNN)을 제안한다. 초기 데이터셋에서 세포의 공간적 집합을 활용함으로써, 재구성 속도를 50배 빠르게(12800×10800 위상 영상에 대해 25초), 프레임당 필요로 하는 이미지 수를 약 6배 감소시켜, 추가적인 시간적 데이터 없이도 영상 촬영 처리량을 크게 향상시킨다.

ABSTRACT

Convolutional neural networks (CNNs) have gained tremendous success in solving complex inverse problems for both problems involving independent datasets from input-output pairs of static objects, as well as sequential datasets from dynamic objects. In order to learn the underlying temporal statistics, a video sequence is typically used at the cost of network complexity and computation. The aim of this work is to develop a novel CNN framework to reconstruct video sequence of dynamic live cells captured using a computational microscopy technique, Fourier ptychographic microscopy (FPM). The unique feature of the FPM is its capability to reconstruct images with both wide field-of-view (FOV) and high resolution, i.e. a large space-bandwidth-product (SBP), by taking a series of low resolution intensity images. For live cell imaging, a single FPM frame contains thousands of cell samples with different morphological features. Our idea is to fully exploit the statistical information provided by this large spatial ensembles so as to learn temporal information in a sequential measurement, without using any additional temporal dataset. Specifically, we show that it is possible to reconstruct high-SBP dynamic cell videos by a CNN trained only on the first FPM dataset captured at the beginning of a time-series experiment. Our CNN approach reconstructs a 12800x10800 pixels phase image using only ~25 seconds, a 50x speedup compared to the model-based FPM algorithm. In addition, the CNN further reduces the required number of images in each time frame by ~6x. Overall, this significantly improves the imaging throughput by reducing both the acquisition and computational times. Our technique demonstrates a promising deep learning approach to continuously monitor large live-cell populations over an extended time and gather useful spatial and temporal information with sub-cellular resolution.

연구 동기 및 목표

• 푸리에 페르티코그래픽 현미경(FPM)을 사용하여 동적 생세포 집단의 고속도, 고해상도 영상 재구성을 가능하게 한다.
• 프레임당 필요로 하는 이미지 수를 최소화하여 FPM의 계산 및 촬영 시간을 줄인다.
• 추가적인 시간적 학습 데이터가 필요 없이, 단일 초기 FPM 데이터셋에서 시간적 동역학을 학습한다.
• 첫 번째 프레임의 공간적 세포 집합의 통계적 다양성을 활용하여 영상 시퀀스 전반의 시간적 진화를 추론한다.
• 매우 넓은 시야에서 세포 내 해상도를 유지하면서 상당히 향상된 재구성 속도를 달성한다.

제안 방법

• 깊은 CNN은 생세포의 다양한 형태적 특징을 포함한 큰 공간적 집합을 가진 첫 번째 FPM 데이터셋 전용으로 훈련된다.
• 네트워크는 초기 데이터셋 내 임의의 공간적 다양성을 시간적 변동의 대체 척도로 활용하여 시간적 동역학을 학습한다.
• 해상도가 낮은 강도 측정값으로부터 고공간대역폭제품(12800×10800 픽셀) 위상 영상 재구성을 위한 아키텍처가 설계된다.
• 모델은 세포 내 해상도에서 세밀한 구조적 세부 사항을 유지하면서 재구성 오차를 최소화하도록 최적화된다.
• 기존 FPM 대비 프레임당 필요로 하는 이미지 수를 약 6배 감소시킨다.
• 네트워크는 실시간 추론 속도를 달성하여 12800×10800 픽셀 재구성을 약 25초 만에 완료한다.

실험 결과

연구 질문

• RQ1 단일 초기 FPM 데이터셋에서만 훈련된 CNN이 명시적인 시간적 감독 없이도 효과적으로 동적 생세포 영상 재구성을 수행할 수 있는가?
• RQ2 단일 FPM 프레임 내의 공간적 다양성이 시간 시리즈 전반의 시간적 동역학을 얼마나 잘 추론할 수 있는가?
• RQ3 제안된 방법은 세포 내 해상도를 유지하면서도 촬영 및 계산 시간을 모두 줄일 수 있는가?
• RQ4 속도 및 영상 품질 측면에서 CNN 기반 재구성 기법은 모델 기반 FPM에 비해 어떻게 성능을 발휘하는가?
• RQ5 정확한 동적 세포 영상 유지 조건에서 프레임당 필요로 하는 이미지 수를 최대로 얼마나 줄일 수 있는가?

주요 결과

• CNN은 재구성 시간을 50배 빠르게 하여, 12800×10800 픽셀 위상 영상 재구성을 약 25초 만에 완료한다.
• 기존 FPM 대비 프레임당 필요로 하는 이미지 수를 약 6배 감소시킨다.
• 훈련용으로 첫 번째 데이터셋만을 사용하여도 고공간대역폭제품 동적 세포 영상 재구성을 성공적으로 수행한다.
• 이 방법은 세포 내 해상도를 유지하고 생세포 집단의 세밀한 형태적 세부 사항을 보존한다.
• 모델 기반 FPM 알고리즘 대비 속도에서 50배 빠르며, 영상 품질에 유의미한 손실 없이 성능을 발휘한다.
• 이 기법은 높은 처리량을 유지하면서도 장기간에 걸쳐 대규모 생세포 집단의 연속 모니터링을 가능하게 한다.