[論文レビュー] Virtual Wave Optics for Non-Line-of-Sight Imaging

Xiaochun Liu, Ibón Guillén+7 more|arXiv (Cornell University)|Oct 17, 2018

Advanced Optical Sensing Technologies参考文献 18被引用数 7

ひとこと要約

この論文は、光の伝搬を位相場波としてモデル化することで、複雑なシーンにおける複数回の散乱、遮蔽、任意の材料を含む非視線（NLOS）イメージングのための仮想波動光学を導入する。レイリー＝ゾンマーフェルト回折積分を用いてNLOSイメージングを仮想視線問題に再定式化することで、従来の手法に比べて、より高速かつ高精度で、ノイズが多い現実世界の環境下でも、一時的動画および焦点合わせ機能を備えた優れた耐性を発揮する。

ABSTRACT

Non-Line-of-Sight (NLOS) imaging allows to observe objects partially or fully occluded from direct view, by analyzing indirect diffuse reflections off a secondary, relay surface. Despite its many potential applications, existing methods lack practical usability due to several shared limitations, including the assumption of single scattering only, lack of occlusions, and Lambertian reflectance. We lift these limitations by transforming the NLOS problem into a virtual Line-Of-Sight (LOS) one. Since imaging information cannot be recovered from the irradiance arriving at the relay surface, we introduce the concept of the phasor field, a mathematical construct representing a fast variation in irradiance. We show that NLOS light transport can be modeled as the propagation of a phasor field wave, which can be solved accurately by the Rayleigh-Sommerfeld diffraction integral. We demonstrate for the first time NLOS reconstruction of complex scenes with strong multiply scattered and ambient light, arbitrary materials, large depth range, and occlusions. Our method handles these challenging cases without explicitly developing a light transport model. By leveraging existing fast algorithms, we outperform existing methods in terms of execution speed, computational complexity, and memory use. We believe that our approach will help unlock the potential of NLOS imaging, and the development of novel applications not restricted to lab conditions. For example, we demonstrate both refocusing and transient NLOS videos of real-world, complex scenes with large depth.

研究の動機と目的

• 単一散乱、ラムベール反射、遮蔽なしを仮定する従来のNLOSイメージング手法の制限を克服すること。
• 複雑な照明、材料、深さの変動を伴う現実世界環境における実用的なNLOSイメージングを可能にすること。
• 仮想位相場表現を導入することで、NLOSイメージングを従来の視線波動光学と統合すること。
• 明示的な光伝搬モデルの構築を避け、既存の波動伝搬アルゴリズムを活用することで、高性能な再構成を達成すること。
• 複雑でごみだらけのシーンにおいて、リアルタイムの焦点合わせおよび一時的NLOS動画再構成を実証すること。

提案手法

• 光強度の長期平均からのずれを表す複素包絡としての位相場を数学的構成として提案し、中継壁での位相情報を保持する。
• レイリー＝ゾンマーフェルト回折積分に従う波動伝搬としてNLOS光伝搬をモデル化し、波面の進化を正確にシミュレート可能にする。
• フレネル近似を用いて回折積分を2次元畳み込みに簡略化し、標準的な画像処理技術による高速計算を可能にする。
• 拡散性の中継壁を仮想開口部として扱い、NLOS問題を既知の波面を持つ仮想視線イメージング系に変換する。
• 測定データから再構成する際、明示的な逆問題モデル化を避けて、既存の波動イメージング作用素（例：カーネルとの畳み込み）を適用する。
• 既存の高速波動ベースイメージングアルゴリズムを活用することで、従来の手法に比べて計算複雑性とメモリ使用量を削減する。

実験結果

リサーチクエスチョン

• RQ1 NLOSイメージングを波動ベースの仮想視線問題に再定式化することで、耐性と性能を向上させることができるか？
• RQ2 拡散面反射によって位相が消失する中で、NLOSイメージングにおいて位相情報を保持・活用できるか？
• RQ3 位相場形式は、強い複数回散乱、環境光、任意の材料反射率を伴う現実世界のシーンに対しても対応可能か？
• RQ4 仮想波動光学アプローチは、速度、正確性、ノイズ耐性の面で、従来のNLOS手法を上回るか？
• RQ5 本手法は、複雑で遮蔽がある、非実験的環境でも一時的NLOS動画および焦点合わせを可能にするか？

主な発見

• 提案された仮想波動光学手法は、強い複数回散乱と非一様な背景ノイズを伴うシーンにおいて、従来手法に比べて優れた再構成品質を達成する。
• ノイズの多いデータセットにおいて、フィルタドバックプロジェクションやデコンボリューション手法を上回り、明示的なノイズレベル推定なしに正確性を維持する。
• 大スケールの深さ範囲と遮蔽を伴う現実世界の複雑なシーンについて、高品質な焦点合わせと一時的NLOS動画再構成を可能にする。
• 位相場形式により、完全な光伝搬行列を明示的に構築することなく、光伝搬の正確なモデリングが可能になり、計算複雑性が低減される。
• 非ラムベール材料や複雑なシーン幾何学に対しても耐性があり、制御された実験室環境を超えた実用的利便性を示す。
• フレネル近似を用いた2次元畳み込みによる再構成により、高速な実行が可能となり、従来手法に比べて速度とメモリ効率に優れる。