[论文解读] Learning to Calibrate Straight Lines for Fisheye Image Rectification

Zhucun Xue, Nan Xue+2 more|arXiv (Cornell University)|Apr 22, 2019

Optical measurement and interference techniques参考文献 32被引用 12

一句话总结

该论文提出了一种深度学习方法，通过利用畸变线条在矫正后应变为直线的几何约束，联合校准鱼眼镜头内参并矫正畸变图像。该方法采用多尺度端到端神经网络，包含线引导参数估计模块、畸变线条感知模块和可微分矫正层，实现了SOTA性能，在合成与真实鱼眼图像上的重投影误差低于0.5像素，PSNR达到27.61。

ABSTRACT

This paper presents a new deep-learning based method to simultaneously calibrate the intrinsic parameters of fisheye lens and rectify the distorted images. Assuming that the distorted lines generated by fisheye projection should be straight after rectification, we propose a novel deep neural network to impose explicit geometry constraints onto processes of the fisheye lens calibration and the distorted image rectification. In addition, considering the nonlinearity of distortion distribution in fisheye images, the proposed network fully exploits multi-scale perception to equalize the rectification effects on the whole image. To train and evaluate the proposed model, we also create a new largescale dataset labeled with corresponding distortion parameters and well-annotated distorted lines. Compared with the state-of-the-art methods, our model achieves the best published rectification quality and the most accurate estimation of distortion parameters on a large set of synthetic and real fisheye images.

研究动机与目标

• 开发一种端到端的深度学习方法，无需人工校准标定板即可同时校准鱼眼镜头参数并矫正畸变图像。
• 利用真实世界中直线在矫正后应保持为直线的几何约束，即使经鱼眼投影后发生畸变，该约束依然成立。
• 克服先前方法依赖于在畸变图像中检测几何对象（如圆锥曲线或直线）的局限性，而此类检测本身即为高难度任务。
• 通过在网络架构中引入多尺度感知与曲率约束，提升矫正质量与畸变参数估计的准确性。
• 构建大规模合成数据集，包含标注的畸变线条与真实畸变参数，用于模型训练与评估。

提出的方法

• 网络由三个主要模块构成：畸变线条检测模块，用于识别在矫正后应变为直线的线条；线引导参数估计（LPE）模块，利用多尺度感知技术估计全局与局部畸变参数；以及可微分矫正层，应用估计的参数对图像进行畸变校正。
• LPE模块接收原始RGB鱼眼图像与检测到的畸变线条图作为输入，使网络能够从图像内容与线条结构中联合学习几何感知特征。
• 训练过程中施加曲率约束（CVC），确保检测到的畸变线条在矫正输出中变为直线，从而将几何先验知识直接嵌入损失函数。
• 将多尺度感知（MSP）集成至LPE模块，以应对鱼眼图像中畸变分布不均匀的问题，提升在中心区域与周边区域的鲁棒性与准确性。
• 整个网络通过组合多尺度感知损失（用于畸变参数）与曲率约束损失（用于线条矫正）的复合损失函数进行端到端训练。
• 通过使用已知的鱼眼投影模型对[17]数据集中的线框场景进行畸变处理，构建了新的大规模合成数据集，包含真实畸变参数与标注的畸变线条。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习检测鱼眼图像中那些在矫正后应变为直线的畸变线条？
• RQ2 能否将显式的几何约束——特别是直线保持性——有效嵌入深度学习模型中，以实现鱼眼校准与矫正？
• RQ3 多尺度感知是否能提升在畸变强度不均的鱼眼图像区域中畸变参数估计的准确性？
• RQ4 与依赖独立检测或优化步骤的现有方法相比，单一端到端网络能否实现更优的矫正质量与参数估计精度？
• RQ5 RGB输入与线条图输入的组合如何影响网络在几何保真度与视觉质量方面的性能表现？

主要发现

• 所提方法在测试集上实现0.4761像素的重投影误差（RPE），显著低于所有对比方法且在1像素以内，表明畸变参数估计高度精确。
• 该方法在测试集上实现PSNR 27.61与SSIM 0.8746，图像质量与结构保持性均优于所有SOTA方法。
• 消融实验表明，若移除曲率约束（CVC）或多尺度感知（MSP），则矫正结果变得不稳定，RPE分别上升至4.326与3.175，证明二者具有关键作用。
• 采用四维输入（RGB + 线条图）的模型表现最佳，PSNR达27.61，RPE为0.4761，优于仅使用RGB（PSNR 21.35）或仅使用线条图（PSNR 22.41）的模型。
• 该方法在真实鱼眼图像上具有良好的泛化能力，即使无真实相机参数，仍能实现视觉上更优的矫正结果，证实其强大的泛化性能。
• 网络在不同类型的鱼眼投影（包括全帧、全圆与鼓形投影）上表现稳健，已在D-Wireframe与Fish-SUNCG等多样化数据集上得到验证。