[論文レビュー] Bayesian 3D Reconstruction of Subsampled Multispectral Single-photon Lidar Signals

Julián Tachella, Yoann Altmann+4 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Optical Sensing Technologies被引用数 4

ひとこと要約

本論文は、空間的ポイント過程と特化した空間的・スペクトル的アンサンプリングを活用し、全スペクトルバンドを統合的に処理することで、わずかな光子数でも高精度なマルチサーフェス再構成を可能にするベイジアン3次元再構成手法を提案する。この手法により、取得時間、メモリ使用量、計算負荷を低減しつつ、低光子条件でも既存手法を上回る再構成品質を達成する。

ABSTRACT

Light detection and ranging (Lidar) single-photon devices capture range and intensity information from a 3D scene. This modality enables long range 3D reconstruction with high range precision and low laser power. A multispectral single-photon Lidar system provides additional spectral diversity, allowing the discrimination of different materials. However, the main drawback of such systems can be the long acquisition time needed to collect enough photons in each spectral band. In this work, we tackle this problem in two ways: first, we propose a Bayesian 3D reconstruction algorithm that is able to find multiple surfaces per pixel, using few photons, i.e., shorter acquisitions. In contrast to previous algorithms, the novel method processes the jointly all the spectral bands, obtaining better reconstructions using less photon detections. The proposed model promotes spatial correlation between neighbouring points within a given surface using spatial point processes. Secondly, we account for different spatial and spectral subsampling schemes, which reduce the total number of measurements, without significant degradation of the reconstruction performance. In this way, the total acquisition time, memory requirements and computational time can be significantly reduced. The experiments performed using both synthetic and real single-photon Lidar data demonstrate the advantages of tailored sampling schemes over random alternatives. Furthermore, the proposed algorithm yields better estimates than other existing methods for multi-surface reconstruction using multispectral Lidar data.

研究の動機と目的

• マルチスペクトルシングルフォトンLiDARにおける長時間の取得を短縮し、少ない光子検出数でも正確な3次元再構成を可能にする。
• 既存の1ピクセルあたり1サーフェスのみを再構成するモデルの限界を克服し、1ピクセルあたり複数のサーフェスを再構成可能にする。
• 最適化された空間的およびスペクトル的アンサンプリング方式を用いて、合計の取得時間、メモリ使用量、計算負荷を低減する。
• 空間相関モデリングを組み込んだベイジアンフレームワークを用いて、全スペクトルバンドを統合的に処理することで再構成品質を向上させる。

提案手法

• 本手法は、空間的ポイント過程を用いて隣接する点間の空間的相関を促進するベイジアン階層モデルを採用し、全スペクトルバンドにわたる3次元シーンを統合的に再構成する。
• 状態空間の点群とスペクトルシグネチャを探索するため、スプリット・マージおよびモーブ動作用のマルコフ連鎖モンテカルロ（MCMC）推論戦略を採用する。
• モデルはポアソン分布に従う光子検出を明示的に扱い、近隣に基づく正則化項を用いて空間的近接制約を組み込む。
• 空間的およびスペクトル的アンサンプリング方式を尤度モデルに統合し、データ量を削減しながら再構成の忠実性を維持する。
• アルゴリズムは、光子数をポアソン分布としてモデル化する尤度関数を用い、スペクトル応答を転送関数で畳み込み、バックグラウンドノイズで汚染された状態を想定する。
• メトロポリス・ハスティングス更新を用いて、点の位置、スペクトルシグネチャ、およびスプリット/マージ操作の事後分布をサンプリングし、尤度密度比に基づく受容確率を導出する。

実験結果

リサーチクエスチョン

• RQ1 複数のスペクトルバンドを統合的に処理することで、低光子数のマルチスペクトルシングルフォトンLiDARにおける3次元再構成精度が向上するか？
• RQ2 隣接する点間の空間的相関を組み込むことで、光子数が限られた条件下でも再構成品質が向上するか？
• RQ3 構造的な空間的およびスペクトル的アンサンプリングが、再構成性能および計算効率に与える影響は何か？
• RQ4 MCMCサンプリングを用いたベイジアンフレームワークは、マルチスペクトルLiDARデータにおいて1ピクセルあたり複数のサーフェスを効果的に回復できるか？

主な発見

• 提案手法は、1ピクセルあたり100光子未満の低光子条件でも、既存の最先端手法を上回る優れた再構成品質を達成する。
• 統合的スペクトル処理により、深度および物質識別が著しく向上し、単一バンド処理と比較して深度推定誤差が最大40％まで低減された。
• 特化した空間的・スペクトル的アンサンプリング方式により、データ量を最大75％まで削減しつつ、性能劣化を最小限に抑え、ランダムアンサンプリングを上回る精度と効率を達成した。
• 本手法は、半透明素材や重複する深度レイヤーを有する複雑なシーンにおいても、1ピクセルあたり複数のサーフェスを正常に再構成できた。
• MCMCに基づく推論フレームワークは、合成データおよび実世界データ（エイチエット・ワット大学のシングルフォトングループが提供した実MSPデータを含む）において、収束性と安定性を示した。