[论文解读] Kinect Range Sensing: Structured-Light versus Time-of-Flight Kinect

Hamed Sarbolandi, Damien Lefloch+1 more|arXiv (Cornell University)|May 20, 2015

Advanced Optical Sensing Technologies参考文献 39被引用 13

一句话总结

本文通过七个标准化测试设置，对微软的Kinect（结构光）和Kinect One（飞行时间）深度传感器进行了全面的实验对比。该研究量化了两种传感器在深度精度、噪声、遮挡及误差源方面的性能差异，并提出了基于故障率的框架，以指导特定应用场景下的设备选型。

ABSTRACT

Recently, the new Kinect One has been issued by Microsoft, providing the next generation of real-time range sensing devices based on the Time-of-Flight (ToF) principle. As the first Kinect version was using a structured light approach, one would expect various differences in the characteristics of the range data delivered by both devices. This paper presents a detailed and in-depth comparison between both devices. In order to conduct the comparison, we propose a framework of seven different experimental setups, which is a generic basis for evaluating range cameras such as Kinect. The experiments have been designed with the goal to capture individual effects of the Kinect devices as isolatedly as possible and in a way, that they can also be adopted, in order to apply them to any other range sensing device. The overall goal of this paper is to provide a solid insight into the pros and cons of either device. Thus, scientists that are interested in using Kinect range sensing cameras in their specific application scenario can directly assess the expected, specific benefits and potential problem of either device.

研究动机与目标

• 为结构光与飞行时间Kinect传感器之间的深度感知性能提供系统化、与应用无关的评估。
• 分离并量化两种设备在噪声、强度依赖性及多设备干扰等个体误差源方面的影响。
• 建立一种通用的实验框架，适用于任何测距相机，以实现一致且可重复的性能基准测试。
• 基于故障率提供决策支持工具，帮助研究人员根据具体应用场景选择最优传感器。
• 通过量化在不同环境与几何条件下深度精度、鲁棒性及可靠性之间的权衡，实现设备的明智选择。

提出的方法

• 设计并实现七个标准化实验设置，以在隔离条件下评估深度感知性能。
• 使用标定测试目标（如西门子星形靶、线性导轨、棋盘格）测量不同角度和距离下的深度精度、线性度与分辨率。
• 量化包括均方根误差（RMSE）、标准差（SD）、有符号误差（SE）以及前景与背景区域的无效像素（IP）率在内的误差指标。
• 在受控光照、表面反射率及多设备干扰条件下测量并比较性能表现。
• 通过计算每种误差源的性能比值，建立故障率框架，实现Kinect（SL）与Kinect（ToF）之间的相对比较。
• 将故障率模型应用于真实世界的应用案例，以展示实际的设备选型指导作用。

实验结果

研究问题

• RQ1 在不同表面反射率和角度下，Kinect（SL）与Kinect（ToF）的深度精度和噪声特性如何比较？
• RQ2 环境光照与表面亮度对每种传感器类型深度测量可靠性的影响是什么？
• RQ3 在静态场景中，结构光与飞行时间传感器的遮挡率有何差异？
• RQ4 多设备干扰与信号串扰在多大程度上影响两种传感器类型的深度精度？
• RQ5 能否建立一种通用且可重复的评估框架，基于隔离的误差源对任意测距相机进行比较？

主要发现

• Kinect（ToF）在高反射率场景下表现出显著更低的背景噪声（SD < 6.0 mm），优于Kinect（SL）。
• 在高角度、半反射场景中，Kinect（SL）的无效像素率较高（高达35.6%），而Kinect（ToF）在类似条件下保持较低故障率（IP < 10.9%）。
• 在静态场景中，遮挡影响约20%的深度图区域（Kinect（SL）），而Kinect（ToF）仅影响约5%，这是由于ToF无三角测量机制所致。
• 在高反射率、高角度条件下，Kinect（SL）的故障率为0.16，表明其不适用；而Kinect（ToF）的故障率为5.45，是更优选择。
• 在办公室环境下距离1.2米进行面部手势识别时，总体故障率为11.68，表明Kinect（ToF）优于Kinect（SL）（其故障率为0.55）。
• 所提出的故障率框架可实现数据驱动的设备选型，当最终比值 < 1时倾向选择Kinect（SL），比值 > 1时倾向选择Kinect（ToF），适用于特定应用场景。