[论文解读] Coupling of localization and depth data for mapping using Intel RealSense T265 and D435i cameras

Evgeny Tsykunov, Valery Ilin+3 more|arXiv (Cornell University)|Apr 1, 2020

Robotics and Sensor-Based Localization参考文献 5被引用 11

一句话总结

本文提出了一种低成本、实时的3D占用映射系统，融合了Intel RealSense T265（用于定位）和D435i（用于深度）摄像头的数据。通过使用多线程观察者模式，将200 Hz的位姿数据与30 Hz的深度图像帧同步，利用T265提供的初始变换进行ICP（点对点和点对平面）配准以对齐点云，并构建Octomap表示，该方法在无需真实值的情况下实现了准确且全局一致的3D地图。

ABSTRACT

We propose to couple two types of Intel RealSense sensors (tracking T265 and depth D435i) in order to obtain localization and 3D occupancy map of the indoor environment. We implemented a python-based observer pattern with multi-threaded approach for camera data synchronization. We compared different point cloud (PC) alignment methods (using transformations obtained from tracking camera and from ICP family methods). Tracking camera and PC alignment allow us to generate a set of transformations between frames. Based on these transformations we obtained different trajectories and provided their analysis. Finally, having poses for all frames, we combined depth data. Firstly we obtained a joint PC representing the whole scene. Then we used Octomap representation to build a map.

研究动机与目标

• 使用低成本的Intel RealSense传感器实现实验室环境中的实时3D占用映射。
• 解决将高频率（200 Hz）的异步位姿数据与低频率（30 Hz）的深度数据从两个不同传感器融合的挑战。
• 通过T265追踪相机提供的相对变换对深度点云进行对齐，生成全局一致的3D点云和占用地图。
• 评估并比较基于ICP的点云配准方法（点对点与点对平面）在轨迹估计和地图精度方面的表现。
• 实现一个无需依赖ROS的系统，通过Open3D、Octomap和基于Python的库支持跨平台部署。

提出的方法

• 采用基于Python的多线程观察者模式，通过基于时间戳的匹配，将T265的200 Hz位姿数据与D435i的30 Hz深度图像帧同步。
• 通过已知固定偏移的刚性安装传感器套件，计算T265与D435i之间的相机间变换 ${}^{T}T_{D}$。
• 利用T265估计的位姿 ${}^{W}T_{T}$ 计算D435i在世界坐标系中的位姿 ${}^{W}T_{D} = {}^{W}T_{T} imes {}^{T}T_{D}$，从而将深度点云变换到统一的世界坐标系。
• 使用点对点和点对平面两种ICP方法进行点云配准，初始变换由T265提供，以提升收敛性和精度。
• 通过变换矩阵 ${}^{D1}T_{D2}$ 迭代合并对齐后的点云，利用Open3D构建全局点云表示。
• 使用Octomap构建3D占用地图，通过pyglet实现基于体素的彩色渲染可视化，避免依赖ROS。

实验结果

研究问题

• RQ1 T265的200 Hz视觉-惯性追踪数据与D435i的30 Hz深度数据之间的同步效率如何，能否实现一致的3D映射？
• RQ2 在使用T265位姿数据初始化的前提下，哪种ICP变体（点对点或点对平面）能提供更准确且更稳定的轨迹估计？
• RQ3 对于实时性能和地图精度而言，ICP参数（如最大对应距离、采样率）的最佳组合是什么？
• RQ4 能否在无真实值或SLAM回环检测的情况下，可靠地重建全局一致的3D点云和占用地图？
• RQ5 对深度点云进行降采样如何影响最终地图的质量和计算效率？

主要发现

• ICP点对点方法产生的轨迹在x轴方向上的相对偏差低于T265追踪轨迹，表明其具有更好的对齐稳定性。
• 采用最大对应距离为0.05米的ICP方法，并以T265初始化变换，实现了精度与计算效率的最佳平衡。
• 应用采样系数为4的降采样滤波器，在不显著降低地图质量或轨迹精度的前提下，减少了执行时间。
• 利用Open3D和基于T265的变换重建的全局点云，准确反映了真实场景的几何结构。
• Octomap成功地从融合数据中生成了稳定的3D占用地图，pyglet驱动的体素可视化提供了从地板到天花板的清晰、彩色编码的空间表示。
• 该系统在不同帧间隔（0.5秒、1秒、2秒）下均实现了实时性能和鲁棒性，且保持了稳定的对齐与映射结果。