[论文解读] A Synchronized Stereo and Plenoptic Visual Odometry Dataset

Niclas Zeller, Franz Quint+1 more|arXiv (Cornell University)|Jul 24, 2018

Robotics and Sensor-Based Localization参考文献 21被引用 7

一句话总结

本论文提出了一组在手持平台上同步采集的立体视觉与全向全景视觉里程计数据集，包含校准的内参参数和通过回环检测获得的真实轨迹。该数据集支持单目、立体和全向全景视觉里程计算法的定量比较，表明尽管在低光照敏感性和运动模糊方面存在挑战，基于全向全景视觉的算法仍能实现具有竞争力的漂移性能。

ABSTRACT

We present a new dataset to evaluate monocular, stereo, and plenoptic camera based visual odometry algorithms. The dataset comprises a set of synchronized image sequences recorded by a micro lens array (MLA) based plenoptic camera and a stereo camera system. For this, the stereo cameras and the plenoptic camera were assembled on a common hand-held platform. All sequences are recorded in a very large loop, where beginning and end show the same scene. Therefore, the tracking accuracy of a visual odometry algorithm can be measured from the drift between beginning and end of the sequence. For both, the plenoptic camera and the stereo system, we supply full intrinsic camera models, as well as vignetting data. The dataset consists of 11 sequences which were recorded in challenging indoor and outdoor scenarios. We present, by way of example, the results achieved by state-of-the-art algorithms.

研究动机与目标

• 为解决缺乏公开的、用于评估基于全向全景相机的视觉里程计（VO）算法的同步数据集的问题。
• 通过统一的基准平台，实现立体、单目与全向全景视觉里程计系统之间的定量比较。
• 提供大规模、闭环轨迹数据集，其起始与结束场景相同，从而可通过轨迹对齐实现漂移测量。
• 为立体和全向全景相机提供完整的相机标定数据，包括内参参数和暗角校正参数。
• 在统一数据集上评估最先进视觉里程计算法，以评估不同传感器类型之间的性能权衡。

提出的方法

• 自定义手持平台集成了基于微透镜阵列（MLA）的全向全景相机（Raytrix R5）和立体相机系统（两台IDS UI-3241LE-M-GL灰度全局快门相机）。
• 立体系统采用100 mm基线和4 mm焦距镜头；全向全景相机采用16 mm主镜头和f/2.8光圈。
• 通过将一台立体相机设为触发主控，其余两台相机（第二台立体相机和全向全景相机）设为从属模式，实现同步。
• 所有相机以>30 fps的帧率、8位量化精度进行录制，曝光时间限制在8 ms以内，以最小化运动模糊。
• 为立体和全向全景相机提供几何相机标定数据及暗角校正数据。
• 真实轨迹通过回环检测获得：每个序列的起始和结束场景相同，从而可通过轨迹对齐实现漂移测量。

实验结果

研究问题

• RQ1 在同步的、大规模闭环轨迹上，基于全向全景相机的视觉里程计与立体和单目视觉里程计相比表现如何？
• RQ2 场景特征（如走廊、楼梯间和动态物体）对全向全景视觉里程计的漂移性能有何影响？
• RQ3 传感器灵敏度、分辨率和视场角的差异如何影响立体与全向全景系统中视觉里程计算法的精度与鲁棒性？
• RQ4 在大规模轨迹中，回环检测在多大程度上可作为评估视觉里程计漂移的可靠真实轨迹？
• RQ5 RGB全向全景相机与灰度立体相机之间曝光差异和噪声水平的差异对视觉里程计性能有何影响？

主要发现

• 基于全向全景视觉的VO算法（SPO [17]）在大多数序列中实现低于1.5%的绝对尺度误差，其中序列#1的误差最低，仅为0.4%。
• SPO的尺度漂移范围为轨迹长度的0.5%至2.5%，在序列#2和#3中优于单目ORB2算法，但在序列#7和#8中表现较差，原因在于纹理稀少和广角镜头限制。
• 在序列#5（户外有移动货车场景）中，SPO表现出更高的漂移（最高达3.5%），这是由于光场图像中存在遮挡，而立体和单目方法则因更宽的视场角而受益。
• SPO的对齐误差范围为轨迹长度的0.8%至2.1%，表明存在中等程度的轨迹漂移，其在纹理丰富且光照稳定的序列中表现最佳。
• 全向全景相机因RGB传感器和微透镜孔径导致光敏度较低，产生更高噪声，但部分通过6 dB的硬件增益得到补偿。
• 尽管传感器存在差异，该数据集仍支持有效的对比评估，表明全向全景视觉里程计是传统立体和单目方法的有前途的替代方案。