[論文レビュー] Real-time 3D reconstruction of complex scenes using single-photon lidar: when image processing meets computer graphics

Julián Tachella, Yoann Altmann+6 more|arXiv (Cornell University)|May 16, 2019

Advanced Optical Sensing Technologies参考文献 29被引用数 2

ひとこと要約

本論文は、統計的モデリングとスケーラブルなコンピュータグラフィックスアルゴリズムを組み合わせることで、1光子LiDARにおけるリアルタイム3次元再構成フレームワークを提示する。これにより、複雑でごみだらけの環境でも、1ピクセルあたり複数の表面が存在する屋外シーンを20 ms未塔で処理可能となり、実用的応用における動画レート再構成を実現する。

ABSTRACT

Single-photon lidar has emerged as a prime candidate technology for depth imaging through challenging environments. Until now, a major limitation has been the significant amount of time required for the analysis of the recorded data. Here we show a new computational framework for real-time three-dimensional (3D) scene reconstruction from single-photon data. By combining statistical models with highly scalable computational tools from the computer graphics community, we demonstrate 3D reconstruction of complex outdoor scenes with processing times of the order of 20 ms, where the lidar data was acquired in broad daylight from distances up to 320 metres. The proposed method can handle an unknown number of surfaces in each pixel, allowing for target detection and imaging through cluttered scenes. This enables robust, real-time target reconstruction of complex moving scenes, paving the way for single-photon lidar at video rates for practical 3D imaging applications.

研究の動機と目的

• 複雑な環境における1光子LiDARのリアルタイム応用を制限していた長時間の処理を克服すること。
• 1ピクセルあたり複数の表面を持つ、動きのあるごみだらけの屋外シーンの耐障害的3次元再構成を可能にすること。
• コンピュータグラフィックス分野のスケーラブルな計算技術を用いて、20 ms未塔のフレームレート処理（動画レート）を達成すること。
• 1ピクセルあたりの表面数が不明な状態でも、密集した障害物を通過したターゲット検出とイメージングを可能にすること。
• 1光子LiDARを用いて、広い日中の条件下でも実用的でリアルタイムの3次元イメージングを実証すること。

提案手法

• フレームワークは、1光子戻り信号の統計的モデリングと、コンピュータグラフィックス分野の高度にスケーラブルなレンダリングアルゴリズムを統合する。
• 1ピクセルあたりの複数表面の戻りをモデル化する確率的アプローチを採用し、ごみだらけのシーンでの再構成を可能にする。
• ボクセルベースの表現を用いて、光子のタイムスタンプと空間座標から3次元幾何を再構成する。
• 複数の反射を分離し、光子データのノイズを低減するために、高度なフィルタリングおよびクラスタリング技術を適用する。
• GPUアクセラレーションに最適化された計算パイプラインを採用し、リアルタイム性能を実現する。
• 高いダイナミックレンジと低SNRを持つ1光子LiDARセンサーからのデータを処理する。

実験結果

リサーチクエスチョン

• RQ1 1光子LiDARデータは、複雑な屋外シーンにおいてリアルタイムで処理可能か？
• RQ2 ごみだらけの環境において、1ピクセルあたりの複数表面を正確に再構成するにはどうすればよいか？
• RQ3 どのような計算技術が3次元LiDARデータの20 ms未塔処理を可能にするか？
• RQ4 1光子LiDARを用いて、広い日中の条件下でも耐障害的なターゲット検出とイメージングが可能か？
• RQ5 スケーラブルなコンピュータグラフィックスアルゴリズムは、疎な光子データからの3次元再構成をどのように高速化するか？

主な発見

• フレームワークは、1フレームあたり20 ms未塔の3次元シーン再構成を達成し、動画レート処理を実現する。
• 本手法は、広い日中の条件下でも、最大320メートル離れた複雑な屋外シーンを正常に再構成できる。
• 1ピクセルあたりの表面数が不明な状態でも処理可能であり、ごみだらけの環境を正確に透過したイメージングを可能にする。
• 動きのあるシーンの再構成が耐障害的に可能であり、実用的なリアルタイム性能を示している。
• 統計的モデリングとコンピュータグラフィックス技術の統合により、再構成品質を損なわず処理速度が著しく向上する。