[論文レビュー] Efficient Non-Line-of-Sight Imaging from Transient Sinograms

Mariko Isogawa, Dorian Chan+3 more|arXiv (Cornell University)|Aug 6, 2020

Advanced Optical Sensing Technologies参考文献 33被引用数 4

ひとこと要約

本論文は、周期的かつ共焦点的な非視線（C²NLOS）走査法を提案し、多重散乱光の時間的応答に基づく正弦波的一時的測定（「一時的サイノグラム」として呼ばれる）を活用することで、従来の最先端手法が使用する測定値の1.6%程度で、3次元局在化と2次元／3次元画像再構成を効率的に行うことを可能にする。

ABSTRACT

Non-line-of-sight (NLOS) imaging techniques use light that diffusely reflects off of visible surfaces (e.g., walls) to see around corners. One approach involves using pulsed lasers and ultrafast sensors to measure the travel time of multiply scattered light. Unlike existing NLOS techniques that generally require densely raster scanning points across the entirety of a relay wall, we explore a more efficient form of NLOS scanning that reduces both acquisition times and computational requirements. We propose a circular and confocal non-line-of-sight (C2NLOS) scan that involves illuminating and imaging a common point, and scanning this point in a circular path along a wall. We observe that (1) these C2NLOS measurements consist of a superposition of sinusoids, which we refer to as a transient sinogram, (2) there exists computationally efficient reconstruction procedures that transform these sinusoidal measurements into 3D positions of hidden scatterers or NLOS images of hidden objects, and (3) despite operating on an order of magnitude fewer measurements than previous approaches, these C2NLOS scans provide sufficient information about the hidden scene to solve these different NLOS imaging tasks. We show results from both simulated and real C2NLOS scans.

研究の動機と目的

• 非視線（NLOS）画像再構成に必要な測定回数を削減しながら、再構成品質を維持すること。
• 計算的に効率的な隠れたシーンの再構成を可能にする最小限の測定セットを同定すること。
• リレーウォール上で円形走査パターンを用いることで、NLOS画像再構成タスクに十分な情報を得られることを検証すること。
• 一時的測定の正弦波的構造を活用した、高速かつ高精度な再構成アルゴリズムの開発。
• 従来の要件よりもはるかに少ない測定回数でも、高品質な3次元局在化と画像再構成が可能であることを実証すること。

提案手法

• レーザー光源とセンサーが一致し、可視リレーウォール上の一点を円形パスに沿って走査する、円形かつ共焦点的な走査戦略を提案。
• C²NLOSからの一時的測定は、多重散乱光の幾何的・時間的応答により、正弦波の重ね合わせとして得られる。これを「一時的サイノグラム」と呼ぶ。
• 一時的サイノグラム内の正弦波成分の周波数、振幅、位相を推定することで、離散的散乱体の局在化を実現するためのハフ投票手順を採用。
• 一時的サイノグラムを隠れたシーンの投影とみなして、逆ラドン変換技術を適用し、平面的隠れた物体の2次元画像再構成を実現。
• 大規模な平面的シーンにおける2次元画像再構成に線形最小二乗逆問題を適用し、最小限の計算コストで高速かつ近似的な再構成を可能にする。
• 強い事前知識を組み込んだADMMベースの最適化フレームワークを用いて3次元ボリューム再構成を実現し、一時的サイノグラムからの近似的な3次元回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 リレーウォール上で円形走査パターンを用いることで、ラスタースキャンと比較して測定回数を減らしながらも、隠れたシーンを再構成するのに十分な一時的測定を得られるか？
• RQ2 C²NLOSからの一時的測定は、効率的な再構成アルゴリズムを可能にする正弦波的構造を示すか？
• RQ3 一時的サイノグラムのパラメータ（周波数、振幅、位相）を、隠れた散乱体の3次元位置に直接対応づけることができるか？
• RQ4 測定次元が低減されているにもかかわらず、C²NLOSの一時的サイノグラムのみを用いても、2次元および3次元の隠れたシーンの画像再構成が可能か？
• RQ5 LCT や FK と比較して、C²NLOS の計算効率と再構成品質はどのように異なるか？

主な発見

• C²NLOSは、LCT や FK 手法と同等の局在化精度を達成しながら、キャプチャ時間はそれらの1.6%にまで短縮され、平均推定誤差は同程度のオーダーに収束する。
• ハフ投票手順により、一時的サイノグラムの正弦波的パラメータを用いて離散的散乱体の局在化が成功し、高速な3次元位置回復が可能となった。
• 一時的サイノグラムに逆ラドン変換を適用することで、測定回数がはるかに少ないにもかかわらず、LCT や FK と同等の視覚的品質を持つ平面的シーンの2次元画像再構成が可能となった。
• C²NLOS 測定値に対する線形最小二乗逆問題により得られる2次元画像再構成は、SSIM において LCT や FK よりわずかに低いが、計算速度は50倍速い。
• 強い事前知識を組み込んだADMMベースの最適化フレームワークを用いた3次元ボリューム再構成により、深さや姿勢などの主な構造的特徴が回復されたが、LCT や FK よりも再構成品質は低い。
• C²NLOS の一時的サイノグラムには、スキャン半径を調整することで有効焦点距離を変更することで、非平面的物体（例えばウサギ）の近似的な3次元外観の再構成に十分な情報が含まれている。