[论文解读] Convolutional neural network for Fourier ptychography video reconstruction: learning temporal dynamics from spatial ensembles.

Thanh Hai Nguyen, Yujia Xue+3 more|arXiv (Cornell University)|Apr 27, 2018

Advanced X-ray Imaging Techniques参考文献 44被引用 8

一句话总结

本文提出一种卷积神经网络（CNN），仅利用首帧数据从傅里叶叠接显微镜（FPM）数据中重建高空间带宽积（SBP）的动态活细胞视频，以学习时间动态特性。通过利用初始数据集中细胞的空间集合，该方法实现50倍的重建速度提升（12800×10800相位图像仅需25秒），并将每帧所需图像数量减少约6倍，显著提高成像吞吐量，且无需额外的时间数据。

ABSTRACT

Convolutional neural networks (CNNs) have gained tremendous success in solving complex inverse problems for both problems involving independent datasets from input-output pairs of static objects, as well as sequential datasets from dynamic objects. In order to learn the underlying temporal statistics, a video sequence is typically used at the cost of network complexity and computation. The aim of this work is to develop a novel CNN framework to reconstruct video sequence of dynamic live cells captured using a computational microscopy technique, Fourier ptychographic microscopy (FPM). The unique feature of the FPM is its capability to reconstruct images with both wide field-of-view (FOV) and high resolution, i.e. a large space-bandwidth-product (SBP), by taking a series of low resolution intensity images. For live cell imaging, a single FPM frame contains thousands of cell samples with different morphological features. Our idea is to fully exploit the statistical information provided by this large spatial ensembles so as to learn temporal information in a sequential measurement, without using any additional temporal dataset. Specifically, we show that it is possible to reconstruct high-SBP dynamic cell videos by a CNN trained only on the first FPM dataset captured at the beginning of a time-series experiment. Our CNN approach reconstructs a 12800x10800 pixels phase image using only ~25 seconds, a 50x speedup compared to the model-based FPM algorithm. In addition, the CNN further reduces the required number of images in each time frame by ~6x. Overall, this significantly improves the imaging throughput by reducing both the acquisition and computational times. Our technique demonstrates a promising deep learning approach to continuously monitor large live-cell populations over an extended time and gather useful spatial and temporal information with sub-cellular resolution.

研究动机与目标

• 通过傅里叶叠接显微镜（FPM）实现在高通量、高分辨率下对动态活细胞群体的视频重建。
• 通过最小化每帧所需图像数量，减少FPM中的计算和采集时间。
• 仅利用单个初始FPM数据集学习时间动态特性，无需额外的时间训练数据。
• 利用首帧中空间细胞集合的统计多样性，推断视频序列中的时间演化过程。
• 在大幅提高重建速度的同时，实现大视场下的亚细胞分辨率成像。

提出的方法

• 仅使用包含大量具有不同形态特征的活细胞的空间集合的首帧FPM数据集对深度CNN进行训练。
• 通过将初始数据集中固有的空间多样性作为时间变化的代理，使网络学习时间动态特性。
• 网络架构设计用于从低分辨率强度测量中重建高SBP（12800×10800像素）相位图像。
• 模型优化目标为最小化重建误差，同时保留亚细胞分辨率下的精细结构细节。
• 与传统FPM相比，该方法将每帧所需图像数量减少了约6倍。
• 网络实现近实时推理速度，可在约25秒内完成12800×10800像素的重建。

实验结果

研究问题

• RQ1 仅在单个初始FPM数据集上进行训练的CNN，能否在无显式时间监督的情况下有效重建动态活细胞视频？
• RQ2 在单帧FPM图像中，空间多样性在多大程度上可被用于推断时间序列中的时间动态？
• RQ3 所提出的方法能否在保持亚细胞分辨率的同时，同时减少FPM的采集时间和计算时间？
• RQ4 与基于模型的FPM相比，基于CNN的重建在速度和图像质量方面表现如何？
• RQ5 在保持准确动态细胞成像的前提下，每帧所需图像数量的最大减少量是多少？

主要发现

• CNN实现了50倍的重建时间加速，约25秒内完成12800×10800像素相位图像的重建。
• 与传统FPM相比，该方法将每帧所需图像数量减少了约6倍。
• 网络仅使用首帧数据进行训练，成功重建了高空间带宽积的动态细胞视频。
• 该方法保持了亚细胞分辨率，并在活细胞群体中保留了精细的形态学细节。
• 与基于模型的FPM算法相比，该方法在速度上提升了50倍，且图像质量无显著损失。
• 该技术实现了对大范围活细胞群体的长时间连续监测，具有高通量特性。