[论文解读] FourierNets enable the design of highly non-local optical encoders for computational imaging

Diptodip Deb, Zhenfei Jiao+6 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Vision and Imaging被引用 10

一句话总结

本文提出FourierNets，一种基于全局核傅里叶卷积的新型浅层神经网络架构，用于在计算成像中实现高度非局部光学编码器的端到端优化。通过将FourierNets与大规模多GPU可微分光学模拟器结合，作者实现了比以往工作大170倍至7372倍的非局部编码器，从而实现了高保真度的3D快照显微镜重建，并在单套显微镜系统中实现了可编程的ROI特定编码。

ABSTRACT

Differentiable simulations of optical systems can be combined with deep learning-based reconstruction networks to enable high performance computational imaging via end-to-end (E2E) optimization of both the optical encoder and the deep decoder. This has enabled imaging applications such as 3D localization microscopy, depth estimation, and lensless photography via the optimization of local optical encoders. More challenging computational imaging applications, such as 3D snapshot microscopy which compresses 3D volumes into single 2D images, require a highly non-local optical encoder. We show that existing deep network decoders have a locality bias which prevents the optimization of such highly non-local optical encoders. We address this with a decoder based on a shallow neural network architecture using global kernel Fourier convolutional neural networks (FourierNets). We show that FourierNets surpass existing deep network based decoders at reconstructing photographs captured by the highly non-local DiffuserCam optical encoder. Further, we show that FourierNets enable E2E optimization of highly non-local optical encoders for 3D snapshot microscopy. By combining FourierNets with a large-scale multi-GPU differentiable optical simulation, we are able to optimize non-local optical encoders 170$ imes$ to 7372$ imes$ larger than prior state of the art, and demonstrate the potential for ROI-type specific optical encoding with a programmable microscope.

研究动机与目标

• 克服计算与架构障碍，实现计算成像中高度非局部光学编码器的端到端优化。
• 解决标准深度学习解码器中的局部性偏差问题，该问题限制了其从高度非局部编码中重建信号的能力。
• 利用空间光调制器（SLMs）设计可编程、任务特定的光学编码器，以应用于3D快照显微镜等场景。
• 证明基于FourierNet的解码器在从如DiffuserCam等高度非局部编码中重建图像时，优于标准深度神经网络。
• 开发一种可扩展的多GPU可微分光学模拟框架，能够高精度模拟大规模非局部光学编码器。

提出的方法

• 提出一种基于全局核傅里叶卷积的新解码器架构FourierNet，可捕捉长程依赖关系，且不引入局部归纳偏置。
• 利用多GPU实现可微分的基于物理的光学模拟框架，以高精度模拟大规模、高度非局部的光学编码器。
• 利用该可微分模拟器计算复杂光学系统（如基于SLM相位掩模的系统）的点扩散函数（PSFs）。
• 通过可微分模拟中的反向传播，端到端训练FourierNet解码器与光学编码器参数。
• 优化SLM相位掩模参数（φ），以针对不同生物样本类型（如A型、B型、C型斑马鱼脑体积）生成任务特定的非局部编码器。
• 将FourierNet与类似3D U-Net的架构集成，用于体积分量重建，采用3D转置卷积和残差连接。

实验结果

研究问题

• RQ1 像FourierNet这样的浅层全局卷积网络能否有效解码标准深度网络无法重建的高度非局部光学编码？
• RQ2 在使用可微分物理模拟和合适解码器的前提下，可实际优化的非局部光学编码器的最大尺寸是多少？
• RQ3 对可编程显微镜的SLM进行端到端优化，能否生成任务特定的非局部光学编码器，从而提升特定生物样本类型的重建保真度？
• RQ4 FourierNet在从DiffuserCam的高度非局部编码中重建图像时，性能与标准深度学习解码器相比如何？
• RQ5 可微分光学模拟在多大程度上可扩展以支持大规模非局部编码器（如比先前最先进水平大170倍至7372倍）的优化？

主要发现

• FourierNets在重建由高度非局部的DiffuserCam捕获的图像时，显著优于标准深度神经网络解码器，实现了更高的峰值信噪比（PSNR）和结构相似性（SSIM）。
• 作者成功将光学编码器优化至比先前最先进水平大7372倍，从而在高时间分辨率下实现了3D快照显微镜的新能力。
• 通过端到端训练为特定样本类型（如A型、B型、C型斑马鱼脑体积）优化的相位掩模，生成的重建图像比通用或未优化的掩模更清晰、更准确。
• 当相位掩模针对A型样本进行优化时，基于FourierNet的解码器实现了近乎完美的重建保真度，模糊极小化且结构一致性高。
• 可微分光学模拟框架实现了通过波前光学模拟的完整反向传播，从而实现了SLM相位掩模与解码器网络的联合优化。
• 在可编程显微镜上的概念验证实现表明，可在单一物理系统中实现ROI特定的光学编码器，为任务自适应计算成像铺平了道路。