[论文解读] Event-Based Structured Light for Depth Reconstruction using Frequency Tagged Light Patterns

Thierry Leroux, Sio-Hoï Ieng+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Vision and Imaging参考文献 17被引用 14

一句话总结

本文提出了一种新型基于事件的结构光方法，用于使用频率标记的光图案和异步事件相机实现实时3D深度重建。通过为空间光图案元素分配独特的闪烁频率，系统能够通过异步事件的时间相关性实现高精度的基于相位的深度估计，实现场景中每秒数百赫兹的重建速率，并达到亚像素精度。

ABSTRACT

This paper presents a new method for 3D depth estimation using the output of an asynchronous time driven image sensor. In association with a high speed Digital Light Processing projection system, our method achieves real-time reconstruction of 3D points cloud, up to several hundreds of hertz. Unlike state of the art methodology, we introduce a method that relies on the use of frequency tagged light pattern that make use of the high temporal resolution of event based sensors. This approch eases matching as each pattern unique frequency allow for any easy matching between displayed patterns and the event based sensor. Results are show on real scenes.

研究动机与目标

• 克服帧基相机在结构光深度感知中的局限性，特别是高亮度照明下帧率低和动态范围差的问题。
• 利用基于事件传感器的超高速时间分辨率和宽动态范围，实现实时3D重建。
• 通过利用异步事件流而非基于帧的强度测量，实现对快速运动物体的鲁棒深度估计。
• 开发一种频率复用的图案编码方案，通过时间调制唯一标识空间位置。

提出的方法

• 系统投射结构光图案，其中每个空间元素以独特频率闪烁，从而实现基于频率的图案位置识别。
• 事件相机（ATIS）以微秒级精度捕获亮度变化的异步事件，为每个像素生成带时间戳的脉冲序列。
• 突发滤波器从事件流中提取占空比和频率成分，估计每个空间邻域内投影图案的调制情况。
• 通过测量相邻像素间交替的正向和负向事件突发之间的时间延迟，将相位移技术适配于事件数据。
• 通过沿每条扫描线的相对相位差递归解包裹算法计算绝对相位，实现基于三角测量的深度重建。
• 通过3×3像素邻域内码字的空间平均，提高图案特征的亚像素定位精度。

实验结果

研究问题

• RQ1 使用基于事件传感器的频率标记光图案是否能够实现鲁棒且精确的深度重建？
• RQ2 如何将相位移技术适配于异步事件数据，而非基于帧的强度测量？
• RQ3 使用频率编码图案的基于事件的结构光方法，其3D点云的可实现重建速率和精度如何？
• RQ4 是否能通过基于事件的时间相关性和空间滤波实现深度估计的亚像素分辨率？
• RQ5 该系统在真实光照条件下以及面对运动物体时的表现如何？

主要发现

• 该方法实现了每秒数百赫兹的实时3D重建，显著超过典型帧基系统。
• 系统从真实场景中生成了密集的3D点云，如图10所示，深度映射准确。
• 图9中的彩色输出证实了各空间区域占空比和频率的成功估计，表明图案解码正确。
• 通过3×3像素邻域内码字的空间平均，实现了亚像素位置估计，提高了定位精度。
• 由于事件传感器具有143 dB的动态范围，该方法在挑战性光照条件下仍能实现深度重建。
• 该方法对运动具有鲁棒性，因为基于事件的传感天然避免了运动模糊和时间折叠效应。