[論文レビュー] Robust Non-line-of-sight Imaging with Single Photon Detectors

Felix Heide, Matthew O’Toole+4 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Optical Sensing Technologies参考文献 24被引用数 10

ひとこと要約

本論文は、部分的遮蔽を伴う隠れたシーンを扱うために特化した、単一光子検出器を用いた非視線（NLOS）イメージングのための頑健なアルゴリズムフレームワークを提示する。時間分解能のある光子検出と高度な逆レンダリングを活用することで、シミュレーションおよび実世界のSPADベースの実験において、先行手法と比較して散乱および遮蔽効果に対して著しく耐性を持つ、最先端の再構成品質を達成する。

ABSTRACT

Imaging objects that are obscured by scattering and occlusion is an important challenge for many applications. For example, navigation and mapping capabilities of autonomous vehicles could be improved, vision in harsh weather conditions or under water could be facilitated, or search and rescue scenarios could become more effective. Unfortunately, conventional cameras cannot see around corners. Emerging, time-resolved computational imaging systems, however, have demonstrated first steps towards non-line-of-sight (NLOS) imaging. In this paper, we develop an algorithmic framework for NLOS imaging that is robust to partial occlusions within the hidden scenes. This is a common light transport effect, but not adequately handled by existing NLOS reconstruction algorithms, resulting in fundamental limitations in what types of scenes can be recovered. We demonstrate state-of-the-art NLOS reconstructions in simulation and with a prototype single photon avalanche diode (SPAD) based acquisition system.

研究の動機と目的

• 既存のNLOS再構成アルゴリズムが隠れたシーン内の部分的遮蔽を処理する上で示す根本的限界を克服すること。
• 散乱および遮蔽を伴う現実的な光輸送条件下でも、非視線イメージングの頑健性を向上させること。
• 隠れたシーンの一部が遮蔽されている、あるいは十分に照明されていない状況でも、高い再構成忠実度を維持できるアルゴリズムの開発。
• 単一光子アンプダイオード（SPAD）センサを用いた実世界プロトタイプを用いて、シミュレーテッド環境および実世界の両方で手法を検証すること。
• 低信号対雑音比および複雑な散乱を伴う厳しい条件下でも、NLOSイメージングにおける最先端の性能を示すこと。

提案手法

• 本手法は、隠れたシーンからの間接的光路を捉えるために、単一光子アバランチダイオード（SPAD）を用いた時間分解能のある光子検出モデルを採用する。
• NLOS再構成を、光輸送および散乱の物理的制約を組み込んだ正則化逆問題として定式化する。
• 時間チャンクごとにシーンの幾何構造と反射特性を一貫してモデル化することで、部分的遮蔽を扱うための頑健な最適化フレームワークを導入する。
• 光子経路をシミュレートするための前方モデルとして、放射輸送方程式に基づくものを使用し、複数回の反射および遮蔽を含む。
• データ適合性項とスパarsity促進正則化項を組み合わせることで、光子数が少ない状況下での再構成品質を向上させる。
• 反復的最適化技術を用いてフレームワークを実装し、ノイズや不完全な測定が存在する状況でも安定解に収束する。

実験結果

リサーチクエスチョン

• RQ1 既存手法が十分に扱わない、一般的ではあるが未解決な課題である隠れたシーンにおける部分的遮蔽に対して、NLOSイメージングをどのようにして頑健に扱えるようにできるか？
• RQ2 時間分解能のある単一光子検出は、散乱および遮蔽が存在する状況で再構成品質をどの程度向上させられるか？
• RQ3 統一されたアルゴリズムフレームワークは、シミュレーション環境および実世界の両方のNLOSイメージングを、高い忠実度と頑健性で処理できるか？
• RQ4 遮蔽パターンが再構成精度に与える影響は何か？また、シーンの遮蔽度合いが変化する状況にアルゴリズムはどのように適応できるか？
• RQ5 同一条件下で、本手法は先行する最先端のNLOS再構成技術と定量的に比較して、どの程度優れているか？

主な発見

• 提案手法は、SPADベースの取得システムを用いたシミュレーションおよび実世界の実験において、最先端の再構成品質を達成した。
• 既存のアルゴリズムが失敗するかアーチファクトを生じる状況でも、部分的遮蔽に対して著しい耐性を示し、高い画像忠実度を維持した。
• 時間分解能のある光子検出と物理的に根拠を持つ逆イメージングフレームワークの組み合わせにより、頑健性が実現された。
• 本アルゴリズムは、光子数が少ない状況および複雑な散乱環境を効果的に処理でき、遮蔽された物体の明確な再構成を可能にした。
• 定量的比較により、シミュレーションおよび実データの両方で、先行手法と比較して構造的類似性が向上し、再構成誤差が低減した。
• プロトタイプシステムは、厳しい条件下でも隠れたシーンの幾何構造および反射特性を効果的に回復でき、本手法の実用的妥当性を検証した。