[论文解读] Depth estimation using structured light flow -- analysis of projected pattern flow on an object's surface --

Ryo Furukawa, Ryusuke Sagawa+1 more|arXiv (Cornell University)|Oct 2, 2017

Advanced Vision and Imaging参考文献 15被引用 5

一句话总结

本文提出了一种新颖的深度估计方法，利用快速运动物体上投射的结构光图案所产生的运动模糊（称为“光流”），绕过传统解码过程。通过使用两台同步的视频投影仪投射平行线图案，并测量每条线上运动模糊（光流）的宽度，深度由这些光流的比值估算，从而实现在标准相机和快门速度下对高速运动物体（如旋转的风扇叶片和投掷的球）进行精确的三维重建。

ABSTRACT

Shape reconstruction techniques using structured light have been widely researched and developed due to their robustness, high precision, and density. Because the techniques are based on decoding a pattern to find correspondences, it implicitly requires that the projected patterns be clearly captured by an image sensor, i.e., to avoid defocus and motion blur of the projected pattern. Although intensive researches have been conducted for solving defocus blur, few researches for motion blur and only solution is to capture with extremely fast shutter speed. In this paper, unlike the previous approaches, we actively utilize motion blur, which we refer to as a light flow, to estimate depth. Analysis reveals that minimum two light flows, which are retrieved from two projected patterns on the object, are required for depth estimation. To retrieve two light flows at the same time, two sets of parallel line patterns are illuminated from two video projectors and the size of motion blur of each line is precisely measured. By analyzing the light flows, i.e. lengths of the blurs, scene depth information is estimated. In the experiments, 3D shapes of fast moving objects, which are inevitably captured with motion blur, are successfully reconstructed by our technique.

研究动机与目标

• 解决传统结构光在运动模糊导致失效的高速运动物体三维形状重建挑战。
• 将以往被视为干扰因素的运动模糊，转化为深度信息的来源而非退化因素。
• 通过直接从光流比值估算深度，消除对图案解码和匹配的依赖。
• 在极端运动条件下，仅使用标准消费级相机和投影仪实现高精度三维重建。

提出的方法

• 将两组平行线图案从两台视频投影仪依次投射到运动物体上。
• 在捕获的图像中测量每条线上运动模糊（光流）的宽度，将其视为位移矢量。
• 通过估算两个投影之间的光流比值，将深度与表面速度及法向解耦。
• 基于物体表面速度和投影角度，通过几何分析将光流长度与深度关联。
• 应用线检测和条带提取算法，鲁棒地检测高度模糊图像中的模糊线段。
• 通过光流比值计算深度，实现三维形状重建，避免了图案解码或对应匹配的需要。

实验结果

研究问题

• RQ1 投影结构光图案中的运动模糊能否作为可靠的深度信息来源？
• RQ2 是否可能在不解码位置图案信息的情况下，仅通过两个光流的比值估算深度？
• RQ3 该方法能否重建传统结构光技术已无法识别的高速运动物体的三维形状？
• RQ4 深度估计的精度在多大程度上依赖于对运动模糊宽度的精确测量？

主要发现

• 该方法成功重建了高速旋转风扇的三维形状，即使在1ms快门速度下运动模糊严重，仍能实现。
• 在多个帧中为投掷的球生成了精确的深度图，证明了在高速运动下动态形状恢复的能力。
• 使用单台投影仪设置同时重建了两个投掷的球，验证了方法的可扩展性和鲁棒性。
• 该技术实现了无需图案解码的深度估计，仅依赖光流比值，这是与传统方法的关键区别。
• 精确测量了模糊条带的宽度，并将其用作光流的代理，实现在真实环境下的亚像素深度估计。