[論文レビュー] Real-time Non-line-of-Sight imaging of dynamic scenes

Ji Hyun Nam, Eric Brandt+4 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Optical Sensing Technologies参考文献 19被引用数 7

ひとこと要約

本論文は、28画素のSPADアレイと拡張されたフォアサー・フィールド再構成アルゴリズムを用いたリアルタイム非視線（NLOS）動画再構成システムを提案する。これにより、シーンサイズに依存しない信号対雑音比（SNR）、運動ぼかし、角度分解能、深度分解能を実現し、動的でリフレクターでないシーンのライブ動画を再構成した。従来の小型シーンや低信号効率に限られたNLOSイメージングの限界を超えた。

ABSTRACT

Non-Line-of-Sight (NLOS) imaging aims at recovering the 3D geometry of objects that are hidden from the direct line of sight. In the past, this method has suffered from the weak available multibounce signal limiting scene size, capture speed, and reconstruction quality. While algorithms capable of reconstructing scenes at several frames per second have been demonstrated, real-time NLOS video has only been demonstrated for retro-reflective objects where the NLOS signal strength is enhanced by 4 orders of magnitude or more. Furthermore, it has also been noted that the signal-to-noise ratio of reconstructions in NLOS methods drops quickly with distance and past reconstructions, therefore, have been limited to small scenes with depths of few meters. Actual models of noise and resolution in the scene have been simplistic, ignoring many of the complexities of the problem. We show that SPAD (Single-Photon Avalanche Diode) array detectors with a total of just 28 pixels combined with a specifically extended Phasor Field reconstruction algorithm can reconstruct live real-time videos of non-retro-reflective NLOS scenes. We provide an analysis of the Signal-to-Noise-Ratio (SNR) of our reconstructions and show that for our method it is possible to reconstruct the scene such that SNR, motion blur, angular resolution, and depth resolution are all independent of scene size suggesting that reconstruction of very large scenes may be possible. In the future, the light efficiency for NLOS imaging systems can be improved further by adding more pixels to the sensor array.

研究の動機と目的

• 一般（リフレクターでない）シーンに対して、従来数分または数十秒にのぼる長時間の撮影時間と低信号効率がNLOSイメージングを制限していたのを克服すること。
• 動的でリフレクターでない物体のリアルタイムNLOS動画再構成を可能とすること。これは、弱いマルチバウンス信号のため、従来は非現実的であった。
• SNR、運動ぼかし、角度分解能、深度分解能をシーンサイズから分離することにより、大規模シーンの再構成の可能性を拡大すること。
• GPUを用いたハードウェア加速再構成により、計算効率が高く、マルチステージでマルチスレッド化されたパイプラインを構築し、リアルタイム性能を維持すること。
• NLOSイメージングにおけるSNRの挙動を詳細に分析し、距離依存の雑音と信号の関係が単純な1/r^4の減衰を超えて非自明であることを示し、それらを適切にモデル化する必要があること。

提案手法

• システムは、中継表面を通じた間接光路からの単一光子タイミングイベントを、28画素のSPADアレイで捕らえる。
• リアルタイムで光子データを処理するマルチステージ・マルチスレッドパイプラインを採用：HydraHarpハードウェアからの取得、T3フォーマット記録のパースィング、周波数ドメインヒストグラム（FDH）のビニング、GPU加速による高速RSD再構成、および表示。
• フォアサー・フィールド再構成を拡張し、時間的フレーム平均を組み込むことで、3次元空間全体にわたるSNRの安定化と運動ぼかしの低減を実現。
• FDHビニングには、事前に計算されたサインおよびコサインのルックアップテーブルとOpenMP並列処理を用い、周波数ドメイン処理の高性能化を実現。
• RSD（Rapid Scene Reconstruction）アルゴリズムは、事前に計算されたカーネルを用いたFFTベースの畳み込みにより、時間飛行光子データから3次元シーンを再構成する。
• 距離に応じた時間平均化スキームにより、複数の再構成済みスライスを統合し、一貫したSNRを持つ安定した2次元動画フレームを生成。

実験結果

リサーチクエスチョン

• RQ1 極めて弱いマルチバウンス信号であっても、動的でリフレクターでないシーンのリアルタイムNLOS動画再構成が可能か？
• RQ2 高度な再構成および検出手法を用いる場合、NLOSイメージングにおける信号対雑音比（SNR）はシーンサイズに依存せずスケーリング可能か？
• RQ3 NLOS信号強度の距離による減衰は、古典的な1/r^4モデルと比べてどのようになるか？また、大規模シーン再構成にどのような影響を及えるか？
• RQ4 再構成設計により、雑音が画像形成の前段階で導入される場合、NLOSイメージングにおける雑音伝搬を正確にモデル化・低減できるか？
• RQ5 SPADアレイとGPU加速を用いた場合、NLOS再構成において計算効率とリアルタイム性能をどの程度達成できるか？

主な発見

• 28画素のSPADピクセルのみを用いて、動的でリフレクターでないシーンのリアルタイムNLOS動画再構成を達成した。これは、従来数分または数十秒を要する手法に比べて飛躍的な進歩を示している。
• SNR、運動ぼかし、角度分解能、深度分解能がすべてシーンサイズに依存しないことから、将来的なセンサースケーリングにより大規模NLOSイメージングが可能であると示唆している。
• 典型的な再構成距離において、信号の減衰が1/r^4よりも緩やかであることが判明し、従来の仮定に疑問を呈し、より大規模なシーン再構成が可能であることを示している。
• 時間平均を組み込んだ提案されたフォアサー・フィールド再構成により、3次元空間全体にわたるSNRの安定化が達成され、遠方領域のSNR劣化が解消された。
• マルチステージ・マルチスレッドパイプラインは、最小限のキュー待ち時間で一定のデータフローを維持し、数フレーム／秒の継続的リアルタイム動画出力を可能にした。
• 本手法により、NLOSイメージングにおける雑音が従来のカメラ雑音と同等ではないことが示された。これは、雑音が再構成の前段階で導入されるため、それに応じたモデル化が不可欠であることを示している。