[论文解读] Deep-learned speckle pattern and its application to ghost imaging

Xiaoyu Nie, Haotian Song+5 more|arXiv (Cornell University)|Dec 25, 2021

Random lasers and scattering media被引用 5

一句话总结

本文提出Speckle-Net，一种深度学习框架，通过训练卷积神经网络调制二阶相关性，生成用于计算鬼成像的优化散斑图案。该方法在极低采样率下（低至0.5%）实现了高质量图像重建，并表现出对噪声的强鲁棒性，通过直接优化照明图案，优于传统及基于深度学习的鬼成像技术。

ABSTRACT

In this paper, we present a method for speckle pattern design using deep learning. The speckle patterns possess unique features after experiencing convolutions in Speckle-Net, our well-designed framework for speckle pattern generation. We then apply our method to the computational ghost imaging system. The standard deep learning-assisted ghost imaging methods use the network to recognize the reconstructed objects or imaging algorithms. In contrast, this innovative application optimizes the illuminating speckle patterns via Speckle-Net with specific sampling ratios. Our method, therefore, outperforms the other techniques for ghost imaging, particularly its ability to retrieve high-quality images with extremely low sampling ratios. It opens a new route towards nontrivial speckle generation by referring to a standard loss function on specified objectives with the modified deep neural network. It also has great potential for applications in the fields of dynamic speckle illumination microscopy, structured illumination microscopy, x-ray imaging, photo-acoustic imaging, and optical lattices.

研究动机与目标

• 开发一种数据驱动方法，生成具有定制统计特性的散斑图案，以提升鬼成像性能。
• 克服传统散斑图案生成方法的局限性，后者依赖人工参数调节，且缺乏针对特定采样率的优化。
• 通过深度学习将优化重点从图像重建转移到最优照明散斑图案的设计。
• 通过训练增强信噪比的散斑图案，实现在低采样率下噪声环境中的鲁棒鬼成像。
• 建立一种可推广的框架，通过重新定义损失函数，使其可应用于鬼成像以外的其他基于散斑的光学系统。

提出的方法

• Speckle-Net 采用多分支卷积神经网络（CNN）架构，可学习的卷积核通过连续卷积操作调制初始散斑图案的二阶相关性。
• 网络使用自定义损失函数进行训练，目标是优化标准计算鬼成像（CGI）算法的性能，以最小化特定采样率下的重建误差。
• 各卷积层中的卷积核通过反向传播进行更新，以优化交叉自相关比值，从而在低采样率下提升信噪比。
• 训练过程独立于最终物体；仅依赖于光学系统和所选损失函数，实现针对特定目标的一次性训练。
• 该框架在 MNIST 数字数据集上进行训练，但可泛化至重建简单与复杂物体（如希腊字母、中文字符、叶片图像）的多种采样率场景。
• 通过重新定义损失函数以匹配不同光学系统需求（如非衍射或结构化照明），该方法可灵活适配其他应用。

实验结果

研究问题

• RQ1 能否利用深度学习生成显著提升超低采样率下鬼成像性能的散斑图案？
• RQ2 通过可学习卷积核优化散斑图案的二阶相关性，对图像重建质量与抗噪能力有何影响？
• RQ3 单一预训练的 Speckle-Net 框架是否可在无需微调的情况下泛化至多种物体类型与采样率？
• RQ4 在重建保真度与鲁棒性方面，深度学习生成的散斑图案相较于标准瑞利散斑及其他合成图案的性能优势有多大？
• RQ5 通过修改损失函数以匹配不同光学目标，该框架是否可扩展至其他基于散斑的成像系统？

主要发现

• 深度学习生成的散斑图案使在仅 0.5% 采样率下即可实现高保真鬼成像重建，显著优于传统方法。
• 在 8.8 dB 信噪比（SNR）下，所有测试物体（数字、字母、字符、叶片）在所有采样率下均能清晰重建，包括 0.5% 采样率。
• 即使在 3.1 dB SNR 的高度噪声环境中，重建图像仍可辨识，且在超低采样率下退化极小。
• 1% 和 0.5% 采样率的图案表现出极强的抗噪鲁棒性，在所有三个 SNR 水平下结果几乎无法区分，表明对噪声引起的波动有显著抑制。
• 低采样率下优化的交叉自相关比值提升了信噪比，解释了在噪声环境中性能与鲁棒性提升的原因。
• 该方法可泛化至 MNIST 训练集之外，仅使用 5% 采样率即可成功重建复杂物体，如中文字符 'yán' 和叶片图像。