[论文解读] FishFormer: Annulus Slicing-based Transformer for Fisheye Rectification with Efficacy Domain Exploration

Shangrong Yang, Chun-Yu Lin+2 more|arXiv (Cornell University)|Jul 5, 2022

Image Enhancement Techniques被引用 6

一句话总结

FishFormer 提出了一种基于 Transformer 的新型鱼眼图像矫正方法，采用环形切片技术在各块之间保持畸变的一致性，从而增强全局与局部感知能力。该方法引入了一种层注意力机制以聚焦于局部纹理感知，在多个数据集上实现了最先进性能。

ABSTRACT

Numerous significant progress on fisheye image rectification has been achieved through CNN. Nevertheless, constrained by a fixed receptive field, the global distribution and the local symmetry of the distortion have not been fully exploited. To leverage these two characteristics, we introduced Fishformer that processes the fisheye image as a sequence to enhance global and local perception. We tuned the Transformer according to the structural properties of fisheye images. First, the uneven distortion distribution in patches generated by the existing square slicing method confuses the network, resulting in difficult training. Therefore, we propose an annulus slicing method to maintain the consistency of the distortion in each patch, thus perceiving the distortion distribution well. Second, we analyze that different distortion parameters have their own efficacy domains. Hence, the perception of the local area is as important as the global, but Transformer has a weakness for local texture perception. Therefore, we propose a novel layer attention mechanism to enhance the local perception and texture transfer. Our network simultaneously implements global perception and focused local perception decided by the different parameters. Extensive experiments demonstrate that our method provides superior performance compared with state-of-the-art methods.

研究动机与目标

• 解决 CNN 和标准方形切片在捕捉鱼眼图像全局畸变与局部对称性方面的局限性。
• 克服因方形块切片导致的畸变分布不一致问题，该问题会阻碍网络学习。
• 利用畸变参数的有效作用域，实现区域特定的局部感知。
• 增强 Transformer 架构中的局部纹理感知能力，该架构传统上在捕捉细节方面表现不佳。
• 通过在块级损失中使用截断正态分布权重，提升训练稳定性和预测精度。

提出的方法

• 提出一种环形切片方法，将鱼眼图像划分为同心环，以保持每一块的畸变一致性，并实现块间畸变的渐变变化。
• 设计一种新颖的层注意力机制，通过计算相邻层之间的注意力，将早期层中的丰富局部纹理特征传递至深层。
• 引入一种基于截断正态概率密度的块损失加权方案，以反映基于其空间有效作用域的畸变参数预测置信度。
• 将 Transformer 编码器结构化为处理鱼眼图像作为一系列环形块序列，以实现长距离全局上下文建模。
• 在统一架构中整合全局感知（通过标准自注意力）与聚焦的局部感知（通过层注意力）。
• 采用多尺度评估指标（包括 PSNR、SSIM、MS-SSIM、FID 和 CW-SSIM）在多样化数据集上优化网络性能。

实验结果

研究问题

• RQ1 与标准方形切片相比，环形切片是否能提升基于 Transformer 的鱼眼图像矫正中畸变表示的一致性？
• RQ2 畸变参数的有效作用域是否在空间上存在差异？该差异是否可用于改善局部感知？
• RQ3 层注意力机制能否增强 Transformer 中的局部纹理感知能力，而该架构通常在细粒度细节上表现不佳？
• RQ4 全局与局部感知的融合如何影响不同数据集上的矫正精度与泛化能力？
• RQ5 在鱼眼图像矫正中，为平衡性能与计算成本，最优网络深度与注意力配置为何？

主要发现

• 在 Place2 数据集上，FishFormer 实现了 PSNR 25.43、SSIM 0.8412、MS-SSIM 0.9411、FID 73.4 和 CW-SSIM 0.9388，优于当前最先进方法。
• 与方形切片相比，环形切片方法在 PSNR 上最高提升 1.4 dB，在 MS-SSIM 上提升 0.08，尤其在高块数（如 64 块）时表现更优。
• 与无 LTM 的基线相比，层注意力机制（LTM）使 PSNR 提升 0.09，MS-SSIM 提升 0.0085，证明其在局部纹理增强方面的有效性。
• 在层注意力机制中使用第一层特征作为查询（q）可获得最佳性能（PSNR: 25.43），表明纹理传递最为理想。
• 最优网络深度为 5 个 Transformer 块，更深网络（如 7 个块）出现性能下降，表明超过某一深度后收益递减。
• 跨数据集测试验证了泛化能力：FishFormer 在 Place2 上训练后在 CelebA 上仍保持优异性能，表明其具备鲁棒性与领域泛化能力。