[论文解读] Image reconstruction through a multimode fiber with a simple neural network architecture

Changyan Zhu, Eng Aik Chan+6 more|arXiv (Cornell University)|Jun 10, 2020

Random lasers and scattering media参考文献 41被引用 12

一句话总结

该论文表明，当从多模光纤解码复杂散斑图案时，一种简单的单隐藏层全连接神经网络（SHL-DNN）在图像重建保真度方面可与最先进的U-Net卷积神经网络（CNN）相媲美，同时显著减少训练时间和计算资源需求。SHL-DNN在16分钟内达到0.775的饱和SSIM，优于在同一硬件上训练3.5小时的U-Net的0.767 SSIM，且两种模型在训练结束后一周内均保持性能稳定。

ABSTRACT

Multimode fibers (MMFs) have the potential to carry complex images for endoscopy and related applications, but decoding the complex speckle patterns produced by mode-mixing and modal dispersion in MMFs is a serious challenge. Several groups have recently shown that convolutional neural networks (CNNs) can be trained to perform high-fidelity MMF image reconstruction. We find that a considerably simpler neural network architecture, the single hidden layer dense neural network, performs at least as well as previously-used CNNs in terms of image reconstruction fidelity, and is superior in terms of training time and computing resources required. The trained networks can accurately reconstruct MMF images collected over a week after the cessation of the training set, with the dense network performing as well as the CNN over the entire period.

研究动机与目标

• 比较简单全连接神经网络（DNN）与卷积神经网络（CNN）在从多模光纤（MMF）散斑图案中重建图像方面的性能。
• 确定在散斑图案具有全局空间结构的背景下，CNN的局部特征提取能力是否对MMF图像重建是必要的。
• 评估训练停止后，训练网络在长时间内的鲁棒性和泛化能力。
• 评估在该背景下，更深或混合架构（如VGG型）是否相较于最小DNN具有优势。

提出的方法

• 使用已知的训练数据，训练单隐藏层全连接神经网络（SHL-DNN）将MMF输出散斑图案映射到输入图像。
• 采用U-Net CNN架构作为基准，其滤波器数量为4倍，输入分辨率为64×64，专为MMF图像重建进行优化。
• SHL-DNN使用结构相似性指数度量（SSIM）作为目标函数进行训练，超参数经调优以实现最佳性能。
• 训练基于已知输入图像与对应MMF输出散斑图案的数据集进行，验证在训练结束后最多235小时收集的未见数据上进行。
• 通过SSIM、MSE和多组数据集（包括MNIST和Fashion-MNIST）的视觉保真度评估性能。
• 对激活函数、损失函数和网络深度进行消融研究，以隔离关键性能因素。

实验结果

研究问题

• RQ1 简单的单隐藏层全连接神经网络（SHL-DNN）在多模光纤成像中能否实现与复杂U-Net CNN相当的图像重建保真度？
• RQ2 DNN是否能在保持高重建保真度的同时，实现比CNN更优的训练效率和资源使用？
• RQ3 训练网络的性能在训练数据不再可用后，随时间推移如何退化或保持稳定？
• RQ4 MMF散斑图案的全局空间结构是否能通过全连接层更好地捕捉，而非卷积层中的局部感受野？
• RQ5 结合卷积层和全连接层的混合架构（如VGG型）在此任务中是否相较于最小DNN具有性能优势？

主要发现

• SHL-DNN在16分钟内达到0.775的饱和SSIM，优于在同一硬件上训练3.5小时的U-Net的0.767 SSIM。
• SHL-DNN仅需2000万个可训练参数，而U-Net为3100万个，表明模型复杂度显著降低。
• SHL-DNN与U-Net在训练数据集创建后最多235小时内收集的图像中均保持高重建保真度，表明其具有强大的泛化能力和稳定性。
• 结合卷积层与全连接层的VGG型网络并未优于SHL-DNN，表明在此背景下增加卷积操作无益处。
• SHL-DNN中激活函数的选择显著影响性能，其中隐藏层和输出层均使用Sigmoid激活函数时表现最佳。
• MSE和交叉熵等替代损失函数在此任务中未能超越基于SSIM的目标函数的性能。