[論文レビュー] Adaptive lighting for data-driven non-line-of-sight 3D localization and object identification

Sreenithy Chandran, Suren Jayasuriya|arXiv (Cornell University)|Jan 1, 2019

Advanced Optical Sensing Technologies被引用数 2

ひとこと要約

本稿では、従来のカメラとプロジェクタのみを用いて、放射能に基づく照明計画を活用して複雑な視線内シーンを通過する光路を最適化することで、非視線（NLOS）3次元局所化および物体同定のためのデータ駆動型で適応的な照明アプローチを提案する。実機データ上で87.1%の物体同定精度と1.97 cmの平均二乗誤差（MSE）を達成した。

ABSTRACT

Non-line-of-sight (NLOS) imaging of objects not visible to either the camera or illumination source is a challenging task with vital applications including surveillance and robotics. Recent NLOS reconstruction advances have been achieved using time-resolved measurements which requires expensive and specialized detectors and laser sources. In contrast, we propose a data-driven approach for NLOS 3D localization and object identification requiring only a conventional camera and projector. To generalize to complex line-of-sight (LOS) scenes with non-planar surfaces and occlusions, we introduce an adaptive lighting algorithm. This algorithm, based on radiosity, identifies and illuminates scene patches in the LOS which most contribute to the NLOS light paths, and can factor in system power constraints. We achieve an average identification of 87.1% object identification for four classes of objects, and average localization of the NLOS object's centroid with a mean-squared error (MSE) of 1.97 cm in the occluded region for real data taken from a hardware prototype. These results demonstrate the advantage of combining the physics of light transport with active illumination for data-driven NLOS imaging.

研究の動機と目的

• 非平面な表面や遮蔽がある複雑なシーンにおける非視線（NLOS）イメージングの課題に対処すること。
• 時間分解能を持つ検出器やレーザー光源を必要としない3次元局所化および物体同定を可能にすること。
• シーンの幾何構造と光輸送の物理法則に基づいて、照明を最適化する適応型照明戦略を開発すること。
• 実用的導入を考慮して、システムの消費電力制約を照明計画プロセスに統合すること。
• 従来のイメージングハードウェアを用いたデータ駆動型NLOSイメージングの実現可能性を実証すること。

提案手法

• 放射能に基づくモデルを用いて、照明されたシーンのパッチから隠れたNLOS物体への光輸送経路を予測する。
• NLOS信号経路に最も寄与する視線内（LOS）シーンパッチを特定および優先順位付けする。
• 高寄与度パッチに応じて照明を動的に適応させ、NLOS信号強度を最大化する。
• 実用的な照明エネルギー使用量を確保するために、システムの消費電力制約を最適化に組み込む。
• 実機データ上でトレーニングされたデータ駆動型モデルを用い、照射された光パターンからNLOS物体の特徴および位置をマッピングする。
• 物理的光輸送モデリングと学習された表現を統合することで、強固な局所化および同定を実現する。

実験結果

リサーチクエスチョン

• RQ1 適応型照明は、非平面な表面や遮蔽がある複雑なシーンにおいて、NLOSイメージング性能をどのように向上させ得るか？
• RQ2 時間分解能を持たない検出器を用いずに、データ駆動型アプローチがどれほど正確な3次元局所化および物体同定を達成できるか？
• RQ3 放射能に基づく照明計画を統合することで、関連するLOSパッチからの信号寄与度はどのように向上するか？
• RQ4 システムの消費電力制約は、NLOSイメージングにおける適応型照明の設計および性能にどのような影響を与えるか？
• RQ5 物理情報に基づいた照明と組み合わせた従来のカメラとプロジェクターシステムは、高精度なNLOS局所化および同定を達成できるか？

主な発見

• 提案された適応型照明手法は、実機データ上での4つの物体クラスにおいて平均87.1%の物体同定精度を達成した。
• システムは遮蔽領域におけるNLOS物体の重心を1.97 cmの平均二乗誤差（MSE）で局所化した。
• 放射能に基づく照明計画は、NLOS光路への寄与度を最大にするLOSパッチを的確に特定および優先順位付けした。
• 性能の著しい低下を伴わず、システムの消費電力制約下でも効果的に動作した。
• 物理的光輸送モデリングとデータ駆動型学習の統合により、実世界データ上で強固な性能を発揮した。
• 結果から、従来のカメラとプロジェクターシステムが、知的な照明戦略と組み合わせることで高精度なNLOSイメージングを実現可能であることが示された。