[論文レビュー] Event-Based Structured Light for Depth Reconstruction using Frequency Tagged Light Patterns

Thierry Leroux, Sio-Hoï Ieng+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Vision and Imaging参考文献 17被引用数 14

ひとこと要約

本論文は、周波数タグ付き光パターンと非同期イベントカメラを用いた、リアルタイム3D深度再構成のための新しいイベントベースの構造化光手法を提案する。空間的光パターン要素に固有のフレッシュ周波数を割り当てることで、非同期イベントの時間的相関を用いた位相ベースの高精度深度推定が可能となり、実環境においてサブピクセル精度で数100Hzまでの再構成レートを達成する。

ABSTRACT

This paper presents a new method for 3D depth estimation using the output of an asynchronous time driven image sensor. In association with a high speed Digital Light Processing projection system, our method achieves real-time reconstruction of 3D points cloud, up to several hundreds of hertz. Unlike state of the art methodology, we introduce a method that relies on the use of frequency tagged light pattern that make use of the high temporal resolution of event based sensors. This approch eases matching as each pattern unique frequency allow for any easy matching between displayed patterns and the event based sensor. Results are show on real scenes.

研究の動機と目的

• 構造化光深度センシングにおけるフレームベースカメラの限界、特に低フレームレートと明るい照明下での動的範囲の不足を克服すること。
• イベントベースセンサの超高速時間分解能と広動的範囲を活用し、リアルタイム3D再構成を実現すること。
• フレームベースの強度測定ではなく、非同期イベントストリームを活用することで、高速移動物体に対してもロバストな深度推定を可能とすること。
• 空間的位置を時間的変調によって一意に特定できる周波数多重パターン符号化方式を開発すること。

提案手法

• 各空間的要素が固有の周波数で点滅する構造化光パターンを照射し、周波数ベースの識別によってパターン位置を特定可能にする。
• イベントベースカメラ（ATIS）がマイクロ秒精度で非同期な明るさ変化イベントをキャプチャし、各ピクセルに対してタイムスタンプ付きスパイクトレインを生成する。
• バーストフィルタがイベントストリームからデューティーサイクルと周波数成分を抽出し、空間的近傍領域ごとの投影パターンの変調を推定する。
• 位相シフト法をイベントデータに適応させるために、隣接ピクセル間の正負のイベントバースト間の時間遅延を測定する。
• 再帰的アンラップアルゴリズムが各スキャンラインに沿った相対位相差から絶対位相を計算し、三角測量を用いて深度再構成を実現する。
• 3×3ピクセル近傍におけるコードワードの空間的平均化により、パターン特徴のサブピクセル位置推定が向上する。

実験結果

リサーチクエスチョン

• RQ1 イベントベースセンサと組み合わせた周波数タグ付き光パターンは、ロバストで高精度な深度再構成を可能にするか？
• RQ2 位相シフト法は、フレームベースの強度測定ではなく非同期イベントデータにどのように適応できるか？
• RQ3 周波数符号化パターンを用いたイベントベース構造化光による3Dポイントクラウドの再構成レートと精度はどの程度達成可能か？
• RQ4 イベントベースの時間的相関と空間フィルタリングを用いることで、サブピクセル解像度の深度推定が達成可能か？
• RQ5 実環境の照明条件や移動物体の下でも、システムの性能はどのように評価されるか？

主な発見

• 本手法は、通常のフレームベースシステムを著しく上回る数100Hzのリアルタイム3D再構成を達成する。
• 実環境からのデータから、図10に示すように密度の高い3Dポイントクラウドが生成され、正確な深度マップが得られている。
• 図9の色分け出力は、各空間領域におけるデューティーサイクルと周波数の正しく推定されたことを確認しており、パターンの正しくデコードされたことを示している。
• 3×3ピクセルのコードワードの空間的平均化により、サブピクセル位置推定が実現され、局所化精度が向上している。
• イベントセンサの143 dBの動的範囲のおかげで、厳しい照明条件下でも深度再構成が可能である。
• イベントベースセンシングの特性により、運動によるブレや時間アーリアスイングの影響がなく、運動に強くロバストである。