[论文解读] Geometric Models of Rolling-Shutter Cameras

Marci Meingast, S. Shankar Sastry+1 more|ArXiv.org|Mar 29, 2005

Advanced Vision and Imaging参考文献 10被引用 140

一句话总结

本文通过推导考虑扫描线间时间曝光差异的一般投影方程，提出了一种用于卷帘快门相机的几何模型。结果表明，在正前方平行运动下，卷帘快门相机的行为类似于X-狭缝相机，并且证明使用校正后的投影模型可提高结构光运动（SfM）的精度，尤其是在高速或低噪声条件下。

ABSTRACT

Cameras with rolling shutters are becoming more common as low-power, low-cost CMOS sensors are being used more frequently in cameras. The rolling shutter means that not all scanlines are exposed over the same time interval. The effects of a rolling shutter are noticeable when either the camera or objects in the scene are moving and can lead to systematic biases in projection estimation. We develop a general projection equation for a rolling shutter camera and show how it is affected by different types of camera motion. In the case of fronto-parallel motion, we show how that camera can be modeled as an X-slit camera. We also develop approximate projection equations for a non-zero angular velocity about the optical axis and approximate the projection equation for a constant velocity screw motion. We demonstrate how the rolling shutter effects the projective geometry of the camera and in turn the structure-from-motion.

研究动机与目标

• 解决结构光运动流程中卷帘快门相机缺乏几何建模的问题。
• 对相机或场景运动时卷帘快门引入的系统性畸变进行建模。
• 推导一个考虑卷帘快门相机扫描线间时间变化曝光的投影方程。
• 证明忽略卷帘快门效应会导致动态场景中运动和结构估计产生偏差。
• 提供一种校准方法和分析框架，以提升移动机器人视觉导航的精度。

提出的方法

• 基于扫描线时间变化曝光，推导一般卷帘快门约束。
• 在恒定速度正前方平行运动下，推导卷帘快门相机的投影方程，证明其与X-狭缝相机模型等价。
• 在透视投影模型中引入一个校正项，以考虑曝光时间差异。
• 在卷帘快门条件下重新推导光流方程，整合角速度和平动运动。
• 通过线性化和时间相关曝光建模，分析运动估计误差。
• 在不同速度和噪声水平下，通过捆绑调整仿真比较卷帘快门感知模型与针孔投影模型的性能。

实验结果

研究问题

• RQ1 卷帘快门曝光时间如何影响运动过程中相机图像的投影几何？
• RQ2 在特定运动条件下，卷帘快门相机能否被建模为非中心相机（如X-狭缝或双狭缝相机）？
• RQ3 在何种条件下，针孔相机模型对卷帘快门相机的结构光运动不再足够准确？
• RQ4 卷帘快门效应如何影响动态场景中的光流和运动估计精度？
• RQ5 与标准针孔模型相比，使用卷帘快门感知投影模型在多大程度上提升了结构光运动性能？

主要发现

• 在正前方平行运动下，卷帘快门相机可精确建模为X-狭缝相机，其投影方程包含一个时间依赖的校正项。
• 当绕光轴的角速度为零时，卷帘快门模型退化为带有限制校正项的透视投影，从而在某些安全区域内针孔模型仍适用。
• 仿真结果表明，使用卷帘快门感知投影模型可降低重投影误差、旋转误差和位移方向误差，尤其在高速（如7.5 km/h）和低噪声条件下更为显著。
• 在低速和高噪声条件下，卷帘快门效应被噪声掩盖，校正作用减弱，但模型在理论上依然有效。
• 推导出的卷帘快门相机光流方程因角速度和曝光时间差异而引入额外项，这对精确运动估计至关重要。
• 捆绑调整实验确认，当运动显著时，卷帘快门模型在旋转和位移估计方面比标准针孔模型更准确。