[論文レビュー] Depth estimation using structured light flow -- analysis of projected pattern flow on an object's surface --

Ryo Furukawa, Ryusuke Sagawa+1 more|arXiv (Cornell University)|Oct 2, 2017

Advanced Vision and Imaging参考文献 15被引用数 5

ひとこと要約

本稿では、高速で動く物体に投影された構造化照明パターンの動きぼかし（「光の流れ」と呼ばれる）を活用する、深さ推定の新規手法を提案する。従来のデコード処理を回避し、2台の同期されたビデオプロジェクタで平行な線パターンを順次投影し、各線に生じる動きぼかしの幅（光の流れ）を測定することで、これらの流れの比から深さを推定する。この手法により、標準のカメラやシャッタースピードでも、回転する扇風機の羽や投げられたボールなど、高速で動く物体の正確な3次元再構成が可能となる。

ABSTRACT

Shape reconstruction techniques using structured light have been widely researched and developed due to their robustness, high precision, and density. Because the techniques are based on decoding a pattern to find correspondences, it implicitly requires that the projected patterns be clearly captured by an image sensor, i.e., to avoid defocus and motion blur of the projected pattern. Although intensive researches have been conducted for solving defocus blur, few researches for motion blur and only solution is to capture with extremely fast shutter speed. In this paper, unlike the previous approaches, we actively utilize motion blur, which we refer to as a light flow, to estimate depth. Analysis reveals that minimum two light flows, which are retrieved from two projected patterns on the object, are required for depth estimation. To retrieve two light flows at the same time, two sets of parallel line patterns are illuminated from two video projectors and the size of motion blur of each line is precisely measured. By analyzing the light flows, i.e. lengths of the blurs, scene depth information is estimated. In the experiments, 3D shapes of fast moving objects, which are inevitably captured with motion blur, are successfully reconstructed by our technique.

研究の動機と目的

• 高速で動く物体の3次元形状再構成に課題となる従来の構造化照明の限界（動きぼかし）を克服すること。
• 従来は不具合と見なされてきた動きぼかしを、深さ情報の源と見なすことで、その悪影響を逆転利用すること。
• パターンのデコードや照合処理に依存せず、光の流れの比から直接深さを推定すること。
• 極端な運動条件下でも、標準の消費者用カメラやプロジェクタを用いて高精度な3次元再構成を実現すること。

提案手法

• 2台のビデオプロジェクタを用いて、物体に順次平行な線パターンを投影する。
• 撮影画像における各線の動きぼかしの幅（光の流れ）を測定し、変位ベクトルとして扱う。
• 2つの投影における光の流れの比を推定することで、深さを表面速度や法線の影響から分離する。
• 幾何的解析を用いて、光の流れの長さと深さの関係を、物体の表面速度および照射角度に基づき定式化する。
• 線分検出およびバンド抽出アルゴリズムを適用し、極めてぼやけた画像内でも頑健にぼやけた線分を検出する。
• パターンのデコードや対応関係の照合を回避するため、光の流れの比から深さを計算し、3次元形状を再構成する。

実験結果

リサーチクエスチョン

• RQ1 投影された構造化照明パターンにおける動きぼかしを、信頼性のある深さ情報の源として利用できるか？
• RQ2 位置パターン情報のデコードなしに、2つの光の流れの比から深さを推定することは可能か？
• RQ3 従来の構造化照明技術では認識不能になるほどぼやけた高速で動く物体の3次元形状を再構成できるか？
• RQ4 動きぼかしの幅の正確な測定が、深さ推定の精度にどのように影響するか？

主な発見

• 1msのシャッタースピードでも、高速で回転する扇風機の羽の3次元形状を成功裏に再構成した。
• 投げられたボールについて、複数のフレームにわたり正確な深さマップを生成し、高速運動下での動的形状回復を実証した。
• 1台のプロジェクタで同時に投げられた2つのボールを再構成し、スケーラビリティと耐障害性を検証した。
• 本手法はパターンのデコードを一切行わず、光の流れの比に依存するという点で、従来手法とは顕著に異なる。
• ぼやけたバンドの幅を正確に測定し、光の流れの代理として用いることで、実環境下でもサブピクセルレベルの深さ推定が可能となった。