[论文解读] Bessel Equivariant Networks for Inversion of Transmission Effects in Multi-Mode Optical Fibres

Joshua Mitton, Simon Peter Mekhail+4 more|arXiv (Cornell University)|Jul 26, 2022

Optical Coherence Tomography Applications被引用 5

一句话总结

该论文提出Bessel等变网络（Bessel Equivariant Networks, BEN），一种新颖的SO⁺(2,1)-等变神经网络，通过利用柱面谐波基函数建模方位相关性，高效地逆转了多模光纤中的传输效应。该方法将参数量从O(N⁴)降低至O(m)，实现了256×256图像的高分辨率重建，相比以往的线性模型或CNN模型，在泛化能力和可扩展性方面表现更优。

ABSTRACT

We develop a new type of model for solving the task of inverting the transmission effects of multi-mode optical fibres through the construction of an $\mathrm{SO}^{+}(2,1)$-equivariant neural network. This model takes advantage of the of the azimuthal correlations known to exist in fibre speckle patterns and naturally accounts for the difference in spatial arrangement between input and speckle patterns. In addition, we use a second post-processing network to remove circular artifacts, fill gaps, and sharpen the images, which is required due to the nature of optical fibre transmission. This two stage approach allows for the inspection of the predicted images produced by the more robust physically motivated equivariant model, which could be useful in a safety-critical application, or by the output of both models, which produces high quality images. Further, this model can scale to previously unachievable resolutions of imaging with multi-mode optical fibres and is demonstrated on $256 imes 256$ pixel images. This is a result of improving the trainable parameter requirement from $\mathcal{O}(N^4)$ to $\mathcal{O}(m)$, where $N$ is pixel size and $m$ is number of fibre modes. Finally, this model generalises to new images, outside of the set of training data classes, better than previous models.

研究动机与目标

• 解决多模光纤中复杂、非局部的斑点图案逆问题，以实现高分辨率成像。
• 开发一种可扩展、数据高效的深度学习模型，尊重光纤传输的物理对称性。
• 提升模型对分布外图像的泛化能力，超越训练数据的分布范围。
• 克服密集线性模型的O(N⁴)参数量增长问题，以及标准CNN在可扩展性方面的局限。
• 实现使用单根多模光纤的实用化、高安全等级成像应用。

提出的方法

• 模型采用基于贝塞尔函数的基集的SO⁺(2,1)-等变层，以编码光纤模式的柱面对称性。
• 通过群论等变性，构建出自然反映输入与斑点图案之间空间排列差异的表征。
• 采用从光纤物理传输矩阵中导出的21个径向频率和1061个模式的可学习基集。
• 采用两阶段流程：首先，Bessel等变模型预测粗略重建结果；其次，后处理网络对输出进行细化，以减少伪影并提升清晰度。
• 模型的参数效率源于通过谐波基分解利用传输矩阵的结构，将可训练参数量减少至O(m)，其中m为光纤模式数。
• 该方法通过学习物理上合理的对称性而非拟合特定数据分布，实现了优于以往模型的泛化能力。

实验结果

研究问题

• RQ1 基于贝塞尔函数的等变神经网络能否在高分辨率下有效逆转多模光纤的传输效应？
• RQ2 与标准CNN或线性模型相比，SO⁺(2,1)-等变设计是否能提升对未见图像类别的泛化能力？
• RQ3 与密集线性层相比，使用谐波基是否能显著改善参数量的缩放特性？
• RQ4 当显式建模斑点图案中的圆形相关性时，其对重建质量的影响程度如何？
• RQ5 两阶段架构（等变模型 + 后处理）是否能实现比端到端模型更高的图像保真度？

主要发现

• Bessel等变网络成功从斑点图案中重建出256×256像素的图像，首次实现了基于机器学习方法的此类结果。
• 模型将参数量从O(N⁴)降低至O(m)，在256×256分辨率下相比密集线性模型实现了10倍的参数减少。
• 当使用完整基集（21个径向频率）时，Bessel等变模型在fMNIST上的测试损失为0.0139；与后处理结合后，测试损失降低至0.0032。
• 当基集参数不足（如将径向频率减少至4个）时，测试损失上升至0.0296，证实了充分基覆盖的重要性。
• 与以往方法相比，该模型在分布外图像上的泛化能力更强，表现为在多样化测试集上的性能提升。
• 后处理网络有效去除了圆形伪影，填补了空缺区域，并增强了图像锐度，显著提升了视觉质量。