[论文解读] Fisheye Distortion Rectification from Deep Straight Lines

Zhucun Xue, Nan Xue+1 more|arXiv (Cornell University)|Mar 25, 2020

Optical measurement and interference techniques参考文献 44被引用 12

一句话总结

本文提出 LaRecNet，一种利用三维直线在图像中投影为直线这一几何约束来校正鱼眼畸变的深度学习框架。该方法采用一种具备畸变直线感知能力的网络，结合多尺度标定、可微分校正与不确定性正则化，实现了最先进性能，在新的富含线条的合成鱼眼数据集上达到 0.33 像素的平均重投影误差。

ABSTRACT

This paper presents a novel line-aware rectification network (LaRecNet) to address the problem of fisheye distortion rectification based on the classical observation that straight lines in 3D space should be still straight in image planes. Specifically, the proposed LaRecNet contains three sequential modules to (1) learn the distorted straight lines from fisheye images; (2) estimate the distortion parameters from the learned heatmaps and the image appearance; and (3) rectify the input images via a proposed differentiable rectification layer. To better train and evaluate the proposed model, we create a synthetic line-rich fisheye (SLF) dataset that contains the distortion parameters and well-annotated distorted straight lines of fisheye images. The proposed method enables us to simultaneously calibrate the geometric distortion parameters and rectify fisheye images. Extensive experiments demonstrate that our model achieves state-of-the-art performance in terms of both geometric accuracy and image quality on several evaluation metrics. In particular, the images rectified by LaRecNet achieve an average reprojection error of 0.33 pixels on the SLF dataset and produce the highest peak signal-to-noise ratio (PSNR) and structure similarity index (SSIM) compared with the groundtruth.

研究动机与目标

• 解决鱼眼畸变校正问题，无需依赖三维标定板或人工标注的二维-三维对应关系。
• 利用三维直线在二维图像中仍保持为直线的几何不变性，作为深度学习的监督信号。
• 开发一种自监督、端到端可训练的模型，仅从单张鱼眼图像中联合估计畸变参数并校正图像。
• 通过引入不确定性感知监督与多尺度特征学习，提升在真实场景中的鲁棒性与准确性。

提出的方法

• 畸变直线感知（DLP）模块通过学习得到的热图检测并编码鱼眼图像中的畸变线段。
• 多尺度标定模块通过融合多个感受野的特征来估计畸变参数，增强对非线性畸变的鲁棒性。
• 可微分校正层利用预测的畸变参数执行空间变换，支持反向传播通过校正过程。
• 注意力不确定性正则化（AUR）模块生成不确定性图以指导像素级损失，降低噪声或不准确线段标注的影响。
• 网络通过几何损失（L_geo）与像素级损失（L_pix）的组合进行训练，同时利用图像外观与学习到的线段几何信息进行监督。
• 构建了一个包含真实畸变参数与精确线段标注的合成富线条鱼眼（SLF）数据集，以支持监督训练与评估。

实验结果

研究问题

• RQ1 能否将鱼眼图像中直线的显式几何约束有效嵌入深度学习模型，以实现畸变校正？
• RQ2 如何使深度网络以端到端可微的方式联合估计畸变参数并执行图像校正？
• RQ3 学习到的线段热图与图像外观在提升校正精度方面，其互补性在多大程度上体现？
• RQ4 当线段标注存在噪声或不完美时，不确定性感知监督能否提升模型性能？
• RQ5 所提出方法在未参与训练的真实鱼眼图像上泛化能力如何？

主要发现

• LaRecNet 在 SLF 数据集上实现最先进平均重投影误差 0.33 像素，显著优于现有方法。
• 模型达到最高的峰值信噪比（PSNR）28.46 与结构相似性指数（SSIM）0.90，表明图像质量与结构保真度更优。
• 消融实验证实，结合图像外观与学习到的线段热图可获得最佳性能，PSNR 从不同训练策略下的 16.24 提升至 28.46。
• 多尺度标定模块显著提升校正精度，尤其在处理严重非线性畸变时表现突出，定量与定性结果均验证其优势。
• 几何损失（L_geo）与不确定性正则化显著降低重投影误差并增强结构一致性，SSIM 与 RPE 指标改善明显。
• 模型在未见的真实鱼眼图像（来自互联网）上泛化良好，展现出强鲁棒性与无需微调即可部署于真实场景的潜力。