[论文解读] Imaging through glass diffusers using densely connected convolutional networks

Shuai Li, Mo Deng+3 more|ArXiv.org|Nov 18, 2017

Random lasers and scattering media参考文献 31被引用 23

一句话总结

本文提出IDiffNet，一种全连接卷积神经网络，可在无需显式正向算子或先验建模的情况下，实现通过玻璃散射器的端到端成像。通过从数据中学习散射介质的响应和物体先验，IDiffNet在多种物体类别上实现了更优的重建质量与泛化能力，尤其在强散射和稀疏物体条件下，使用负皮尔逊相关系数损失函数时，优于传统去卷积和去噪网络。

ABSTRACT

Computational imaging through scatter generally is accomplished by first characterizing the scattering medium so that its forward operator is obtained; and then imposing additional priors in the form of regularizers on the reconstruction functional so as to improve the condition of the originally ill-posed inverse problem. In the functional, the forward operator and regularizer must be entered explicitly or parametrically (e.g. scattering matrices and dictionaries, respectively.) However, the process of determining these representations is often incomplete, prone to errors, or infeasible. Recently, deep learning architectures have been proposed to instead learn both the forward operator and regularizer through examples. Here, we propose for the first time, to our knowledge, a convolutional neural network architecture called "IDiffNet" for the problem of imaging through diffuse media and demonstrate that IDiffNet has superior generalization capability through extensive tests with well-calibrated diffusers. We found that the Negative Pearson Correlation Coefficient loss function for training is more appropriate for spatially sparse objects and strong scattering conditions. Our results show that the convolutional architecture is robust to the choice of prior, as demonstrated by the use of multiple training and testing object databases, and capable of achieving higher space-bandwidth product reconstructions than previously reported.

研究动机与目标

• 解决通过玻璃散射器等散射介质成像的挑战，因为对散射介质的不完全了解导致传统反问题求解方法不适定。
• 克服传统反向成像中显式正向算子和正则化先验建模的局限性，这些方法通常易出错或难以准确表征。
• 开发一种基于深度学习的端到端框架，从训练数据中联合学习散射介质的响应和物体先验。
• 在强散射条件下，提升对多种物体类型（包括稀疏和复杂场景）的重建质量与泛化能力。

提出的方法

• 提出IDiffNet，一种全连接卷积神经网络架构，旨在通过端到端训练学习从斑点图案到原始图像的逆映射。
• 采用负皮尔逊相关系数（NPCC）作为损失函数，实验表明其在空间稀疏物体和强散射条件下优于MAE或MSE。
• 使用校准的散射器数据对网络进行训练，涵盖多个物体数据库（如字符、CIFAR-10、LFW人脸），以实现跨物体类别的泛化。
• 采用数据驱动方法，隐式学习正向散射算子和物体先验，无需显式参数化建模。
• 通过在未见过的物体数据库上测试并对比在泊松噪声上训练的去噪神经网络，验证其鲁棒性。
• 进行最大激活模式（MAP）分析，以确认IDiffNet学习的是成像系统的空间相关性，而非仅噪声抑制。

实验结果

研究问题

• RQ1 深度神经网络能否在无需显式建模的情况下，从训练数据中隐式学习散射介质的正向响应和物体先验？
• RQ2 在强散射和稀疏物体条件下，损失函数选择（如NPCC与MAE/MSE）如何影响重建质量？
• RQ3 IDiffNet能否在包括训练期间未见的物体数据库在内的多种物体数据库上实现泛化？
• RQ4 IDiffNet与标准去噪网络在学习散射引起的斑点图案与像素级噪声方面有何本质区别？
• RQ5 全连接网络架构在提升通过散射器成像的特征学习与重建保真度方面发挥何种作用？

主要发现

• IDiffNet实现的信噪比-带宽乘积高于以往报道的方法，表明其在分辨率和细节恢复方面有显著提升。
• 负皮尔逊相关系数（NPCC）损失函数显著提升了稀疏物体和强散射条件下的重建质量，优于MAE和MSE。
• IDiffNet在多个物体数据库（字符、CIFAR-10、LFW人脸）上表现出有效泛化能力，表明其对散射和物体先验的学习具有鲁棒性。
• IDiffNet并非简单去噪；其学习的是成像系统的空间相关性结构，经MAP分析和与去噪网络对比验证。
• 600目散射器情况下，MAP图中呈现出更精细的纹理细节，表明IDiffNet能学习到更强散射下的更复杂散射响应。
• 去噪网络在斑点图像上失效，仅输出模糊图像，而IDiffNet能重建出清晰、准确的图像，证明其学习的是系统特异性映射，而非仅噪声抑制。