[論文レビュー] Curvature regularization for Non-line-of-sight Imaging from Under-sampled Data

Rui Ding, Juntian Ye+3 more|arXiv (Cornell University)|Jan 1, 2023

Advanced Optical Sensing Technologies被引用数 5

ひとこと要約

本稿では、GPU計算で高速化されたADMMフレームワーク内でのオブジェクトドメインおよびデュアルドメインにおける曲率正則化を用いて、アンダーサンプリングされたデータからの非直線的視界（NLOS）画像再構成のための曲率正則化ベースの再構成モデルを提案する。この手法は、高速かつ高品質な再構成を実現し、わずか4×4のサンプリングポイントからの64×64解像度の回復を可能にするとともに、ノイズを効果的に抑制し、表面の連続性を保持する。

ABSTRACT

Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is highly possibility to be degraded due to noises and distortions. In this paper, we propose novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (signal and object)-domain curvature regularization model. In what follows, we develop efficient optimization algorithms relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, for which all solvers can be implemented on GPUs. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. Based on GPU computing, our algorithm is the most effective among iterative methods, balancing reconstruction quality and computational time. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.

研究の動機と目的

• アンダーサンプリングされた一時的測定値からのNLOS再構成の不適切な性質（ill-posed nature）に対処し、ノイズが多く歪んだ再構成を回避する。
• 曲率正則化を活用することで、圧縮センシングの文脈において表面の滑らかさと連続的な構造を保つことで再構成品質を向上させる。
• リアルタイムのNLOS画像再構成アプリケーションに適した高速でスケーラブルなアルゴリズムを開発する。
• バックトラッキングステップサイズルールを用いたGPU最適化されたADMMにより、従来の反復的手法と比較して計算時間を短縮する。

提案手法

• オブジェクトドメインおよびデュアル（信号とオブジェクト）ドメインにおける2つの曲率正則化モデルを導入し、表面の滑らかさと信号の連続性を同時に正則化する。
• 高次の曲率最小化問題の効率的最適化のため、交替方向乗数法（ADMM）とバックトラッキングラインサーチを組み合わせる。
• 計算を簡素化し収束速度を向上させるために、全変動（total variation）のための適応的重みとして曲率をモデル化する。
• 線形化技術を適用して最適化プロセスの収束をさらに加速する。
• 計算速度の大幅な向上を実現するため、アルゴリズムをGPUに実装する。
• 2段階最適化戦略を採用：まずオブジェクト表面を正則化し、次にデュアルドメインで信号とオブジェクトを共同で最適化する。

(a) Non-confocal NLOS

実験結果

リサーチクエスチョン

• RQ1 アンダーサンプリングされたNLOS再構成において、特にノイズや限られたデータが存在する状況下で、曲率正則化が再構成品質を効果的に向上させることができるか。
• RQ2 オブジェクトドメインのみの正則化と比較して、デュアルドメイン曲率正則化は表面および信号の連続性をどのように効果的に保っているか。
• RQ3 提案されたADMMベースのアルゴリズムは、NLOS再構成において高品質な再構成と低コストな計算を両立できるか。
• RQ4 GPUアクセラレーションは、曲率ベースのNLOS再構成の実行時間性能をどの程度向上させることができるか。

主な発見

• 提案されたcurvNLOS手法は、合成および実データの両方のNLOSデータセットにおいて最先端の再構成品質を達成し、直接法や反復法を上回る。特に圧縮センシング条件下で顕著な優位性を示す。
• 短時間露光データ（15秒）では、curvNLOSのみが認識可能でノイズの少ない画像を再構成できており、他の手法はぼやけたまたはノイジーな結果を出力する。
• 長時間露光データ（60分）では、すべての手法が改善するが、curvNLOSは細かいエッジや構造的詳細の保持において最も高い忠実度を維持する。
• GPUアクセラレートされたcurvNLOSアルゴリズムは、他の反復的手法と比較して著しく高速であり、シーンの複雑さにかかわらず安定的で低コストな計算時間である。
• 本手法は、わずか4×4のサンプリングポイントのみを用いて64×64解像度の3次元シーンを再構成可能であり、極端なアンダーサンプリング下でも優れた性能を示す。
• オブジェクトドメインのみのアプローチと比較して、デュアルドメイン曲率モデルは外れ値を低減し、表面の連続性を向上させる。

(b) Confocal NLOS