[论文解读] Local Conditional Neural Fields for Versatile and Generalizable Large-Scale Reconstructions in Computational Imaging

Hao Wang, Zhu, Jiabei+3 more|arXiv (Cornell University)|Jul 12, 2023

Advanced X-ray Imaging Techniques被引用 4

一句话总结

该论文提出局部条件神经场（LCNF），一种连续隐式神经表示框架，可在计算成像中实现可扩展、泛化性强且高保真度的大规模相位重建。通过结合测量特定的潜在码与局部条件解码器，LCNF即使在仅使用有限或模拟数据进行训练的情况下，也能从少量复用的傅里叶叠层显微测量中实现鲁棒的超分辨率重建，且在单张GPU上每像素的推理速度约为1×10⁻⁵秒。

ABSTRACT

Deep learning has transformed computational imaging, but traditional pixel-based representations limit their ability to capture continuous, multiscale details of objects. Here we introduce a novel Local Conditional Neural Fields (LCNF) framework, leveraging a continuous implicit neural representation to address this limitation. LCNF enables flexible object representation and facilitates the reconstruction of multiscale information. We demonstrate the capabilities of LCNF in solving the highly ill-posed inverse problem in Fourier ptychographic microscopy (FPM) with multiplexed measurements, achieving robust, scalable, and generalizable large-scale phase retrieval. Unlike traditional neural fields frameworks, LCNF incorporates a local conditional representation that promotes model generalization, learning multiscale information, and efficient processing of large-scale imaging data. By combining an encoder and a decoder conditioned on a learned latent vector, LCNF achieves versatile continuous-domain super-resolution image reconstruction. We demonstrate accurate reconstruction of wide field-of-view, high-resolution phase images using only a few multiplexed measurements. LCNF robustly captures the continuous object priors and eliminates various phase artifacts, even when it is trained on imperfect datasets. The framework exhibits strong generalization, reconstructing diverse objects even with limited training data. Furthermore, LCNF can be trained on a physics simulator using natural images and successfully applied to experimental measurements on biological samples. Our results highlight the potential of LCNF for solving large-scale inverse problems in computational imaging, with broad applicability in various deep-learning-based techniques.

研究动机与目标

• 为解决像素级深度学习在计算成像中的局限性，特别是无法表示连续、多尺度物体细节以及在大视场下可扩展性差的问题。
• 克服现有神经场方法在泛化性和计算效率方面的不足，这些方法通常需要为每个物体重新训练或依赖全局潜在码。
• 通过单一训练模型，仅使用最少的复用测量数据，实现高保真度、大视场的相位重建。
• 评估该框架在使用不完美、有限或模拟数据集进行训练后，应用于真实生物样本时的鲁棒性。

提出的方法

• LCNF采用CNN编码器提取测量特定的特征，并将其映射到潜在空间，实现局部条件化表示。
• 一个可学习的MLP解码器利用潜在向量作为条件输入，在任意空间坐标处重建连续相位值。
• 该框架采用基于坐标的表示方法，通过多层感知机将空间坐标映射到物理相位值，实现与分辨率无关的合成。
• 局部条件化使模型能够捕捉多尺度特征，并在无需微调的情况下泛化到多样化物体。
• 推理通过在网格上密集查询坐标进行，采用分块重建策略以在大视场成像过程中管理GPU显存限制。
• 模型通过预测相位图与真实相位图之间的像素级损失进行端到端训练，训练期间应用数据增强和归一化。

Figure 1: Conceptual illustration of our LCNF framework for FPM reconstruction. (a) LCNF employs a CNN encoder to learn measurement-specific information and encode them into a latent-space representation. The MLP decoder reconstructs the phase values at specific locations with an increased spatial r

实验结果

研究问题

• RQ1 当在有限或不完美的实验数据上进行训练时，连续神经场表示能否在多样化生物样本上实现泛化？
• RQ2 与全局潜在码相比，局部条件化在神经场中如何提升泛化能力和多尺度特征学习？
• RQ3 在模拟自然图像上训练的模型，能在多大程度上泛化到傅里叶叠层显微镜中的真实实验测量？
• RQ4 该框架在大规模、大视场相位重建中的推理效率和可扩展性如何？

主要发现

• LCNF仅使用少量复用测量即实现了1500×1500像素相位图像的高保真重建，推理时间约为25秒（在NVIDIA Quadro RTX8000 GPU上）。
• 通过拼接250×250像素的图像块，该框架成功重建了直径达12960像素的大视场相位图像，证明了其突破单张GPU显存限制的可扩展性。
• 在仅使用一个实验图像对（如Hela-E(1)）进行训练的网络，仍能实现有意义的重建质量，表明其具备从极少量数据中泛化的强大能力。
• 在模拟自然图像上训练的模型能有效泛化到真实生物样本，且在训练中未使用任何真实实验数据，仍实现了具有竞争力的重建质量。
• 即使在不完美的数据集上进行训练，LCNF仍能减少相位伪影并捕捉连续的物体先验，表现出对分布偏移的鲁棒性。
• 平均推理速度约为1×10⁻⁵秒/像素，实现了高分辨率图像的高效重建。

Figure 2: Reconstruction results using the LCNF trained with our experimental dataset. An example of BF low-resolution intensity image, the model-based FPM reconstruction, and our LCNF network-based reconstruction for (a) Hela cells fixed with ethanol, and (b) Hela cells fixed with formalin. Subarea