[论文解读] Autocamera Calibration for traffic surveillance cameras with wide angle lenses

Aman Gajendra Jain, Nicolas Saunier|PolyPublie (École Polytechnique de Montréal)|Jan 20, 2020

Video Surveillance and Tracking Methods参考文献 10被引用 4

一句话总结

本文提出一种仅使用视频画面和摄像头高度作为输入的交通监控广角镜头摄像头自动标定方法。通过等距鱼眼模型进行内参标定，并利用垂直交叉路口处车辆轨迹的消失点进行外参标定，实现了约6.35%的焦距估计平均误差，且在去畸变性能上优于标定板标定方法。

ABSTRACT

We propose a method for automatic calibration of a traffic surveillance camera with wide-angle lenses. Video footage of a few minutes is sufficient for the entire calibration process to take place. This method takes in the height of the camera from the ground plane as the only user input to overcome the scale ambiguity. The calibration is performed in two stages, 1. Intrinsic Calibration 2. Extrinsic Calibration. Intrinsic calibration is achieved by assuming an equidistant fisheye distortion and an ideal camera model. Extrinsic calibration is accomplished by estimating the two vanishing points, on the ground plane, from the motion of vehicles at perpendicular intersections. The first stage of intrinsic calibration is also valid for thermal cameras. Experiments have been conducted to demonstrate the effectiveness of this approach on visible as well as thermal cameras. Index Terms: fish-eye, calibration, thermal camera, intelligent transportation systems, vanishing points

研究动机与目标

• 实现无需人工场景标注或三维标定装置的广角交通监控摄像头自动标定。
• 仅以摄像头高度作为用户输入，解决外参标定中的尺度模糊问题。
• 开发一种对镜头畸变具有鲁棒性、且不依赖场景特定特征或先验标定数据的方法。
• 通过基于运动的标定方法，将适用性扩展至热成像摄像头。
• 支持后续应用，如速度监测、三维重建和车辆跟踪。

提出的方法

• 内参标定采用多项式径向畸变模型与等距鱼眼投影，通过车辆轨迹运动估计畸变系数。
• 该方法假设为针孔相机模型，像素为正方形、倾斜为零，光学中心位于图像中心，从而简化内参矩阵。
• 外参标定通过在垂直交叉路口处车辆运动，估计地面上两个正交的消失点。
• 消失点通过轨迹方向在霍夫空间中的RANSAC投票检测，通过取前20%得票的平均值并结合标准差提升鲁棒性。
• 利用SVD对旋转矩阵进行优化以强制正交性，通过摄像头高度计算平移向量以解决尺度模糊问题。
• 整个流程仅需几分钟视频数据，且仅需摄像头高度作为用户输入。

实验结果

研究问题

• RQ1 能否仅通过运动车辆且无需场景特定标注，实现广角相机的自动内参标定？
• RQ2 从交通场景中的车辆轨迹中，消失点的估计精度如何？
• RQ3 与传统标定板标定方法相比，该方法在减少畸变方面达到何种程度？
• RQ4 该方法能否以与可见光谱相机相当的性能应用于热成像摄像头？
• RQ5 该方法在存在遮挡或非直线运动车辆时是否具有鲁棒性？

主要发现

• 所提方法相对于标定板标定，焦距估计的平均误差为6.35%，表明其在内参标定中具有较高精度。
• 标定后轨迹去畸变的均方误差（LSE）降低至0.006–0.007，优于标定板标定系数的性能，覆盖5个数据集中的4个。
• 该方法生成了视觉上准确的俯视变换，表现为平行的道路标线、圆形的井盖和矩形的斑马线，证实外参标定正确。
• 该算法成功使用相同基于运动的方法对热成像摄像头完成标定，证明其在可见光相机之外的适用性。
• 该方法对噪声具有鲁棒性，在车辆密度有限的情况下仍表现良好，前提是足够多车辆沿垂直方向运动。
• 该方法完全自动化，仅需几分钟视频和摄像头高度，适用于实际部署。