[論文レビュー] Occlusion Fields: An Implicit Representation for Non-Line-of-Sight Surface Reconstruction

Javier Grau, Markus Plack+3 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Optical Sensing Technologies被引用数 5

ひとこと要約

この論文は、壁に見えない点と遮蔽された点の間の意思決定境界として隠れたシーンをモデル化する、非線形視線（NLoS）3D表面再構成のための新しいニューラルインクリメント表現「Occlusion Fields」を紹介している。時間当たりの飛行測定値とエンド・ツー・エンドの学習を活用することで、フェルマー経路基準を超える幾何的特徴を回復し、自己遮蔽に対して強い耐性を示し、ボリュメトリックおよび先行の非ボリュメトリック手法を上回る完全性と忠実性を達成している。

ABSTRACT

Non-line-of-sight reconstruction (NLoS) is a novel indirect imaging modality that aims to recover objects or scene parts outside the field of view from measurements of light that is indirectly scattered off a directly visible, diffuse wall. Despite recent advances in acquisition and reconstruction techniques, the well-posedness of the problem at large, and the recoverability of objects and their shapes in particular, remains an open question. The commonly employed Fermat path criterion is rather conservative with this regard, as it classifies some surfaces as unrecoverable, although they contribute to the signal. In this paper, we use a simpler necessary criterion for an opaque surface patch to be recoverable. Such piece of surface must be directly visible from some point on the wall, and it must occlude the space behind itself. Inspired by recent advances in neural implicit representations, we devise a new representation and reconstruction technique for NLoS scenes that unifies the treatment of recoverability with the reconstruction itself. Our approach, which we validate on various synthetic and experimental datasets, exhibits interesting properties. Unlike memory-inefficient volumetric representations, ours allows to infer adaptively tessellated surfaces from time-of-flight measurements of moderate resolution. It can further recover features beyond the Fermat path criterion, and it is robust to significant amounts of self-occlusion. We believe that this is the first time that these properties have been achieved in one system that, as an additional benefit, is trainable and hence suited for data-driven approaches.

研究の動機と目的

• ボリュメトリック表現に依存するか、フェルマー経路基準によって制限される既存の NLoS 再構成手法の限界を解消すること。
• メモリ効率が良く、微分可能で、回復可能性と再構成を統合した単一のトレーニング可能なフレームワークを提供するインクリメント表現を開発すること。
• 時間飛行測定値を用いて、フェルマー幾何学に従わない構造および自己遮蔽された表面を再構成できること。
• 現実世界のノイズのある測定条件に適したスケーラブルで、適応的かつデータ駆動型のアプローチを提供すること。

提案手法

• この手法は、NLoS表面を、壁に見える点か隠れた物体によって遮蔽された点かを分類するニューラルネットワークの意思決定境界としてモデル化する。
• 位置符号化を用いたニューラルネットワークにより、3次元座標を占有確率にマッピングし、遮蔽境界を暗黙的に学習する。
• 損失関数は、予測された時間分解信号と測定された信号の差に基づき、エンド・ツー・エンドの最適化を可能にする。
• 訓練中に、実際の SPAD センサ応答を模倣し、耐性を高めるために、ベースノイズを伴うポisson ノイズモデルを適用する。
• 固定されたボクセルグリッドに依存せず、再構築された表面の適応的テッセレーションを可能にする。
• 合成および実験的データセット（包括的なドメイン適応を含む）上で訓練および評価され、現実世界への一般化を実現している。

実験結果

リサーチクエスチョン

• RQ1 ニューラルインクリメント表現は、フェルマー経路基準の限界を超えて NLoS 表面を再構成できるか？
• RQ2 微分可能でインクリメントな表現は、NLoS 再構成における強い自己遮蔽をどの程度適切に処理できるか？
• RQ3 トレーニング可能な、メモリ効率の良い表現は、中程度解像度の時間飛行データから高忠実度のメッシュ再構成を達成できるか？
• RQ4 ノイズ拡張を用いたドメイン適応は、現実世界の測定への一般化をどの程度向上させるか？

主な発見

• 提案された Occlusion Fields 表現は、通常の物理モデルが見逃すフェルマーに従わない特徴を含む、完全な3次元メッシュの再構築に成功している。
• この手法は、複雑な形状および平らな物体のマルチビュー再構築において、顕著な自己遮蔽に対しても、高い幾何的忠実度で完全に遮蔽された領域を回復している。
• フェルマー構造を持つ ShapeNet カテゴリ（例：マグ、カメラ）において、本手法は最良のフェルマー事例予測を上回り、疎で不完全な再構築を生じる。
• ノイズ拡張によるドメイン適応を経て、実世界データセットにも一般化可能であるが、ノイズモデルの物理的不正確さにより性能がわずかに低下する。
• 本手法は、メモリ集約的なボリュメトリックグリッドに依存せず、適応的かつ高解像度の表面テッセレーションを可能にし、データ駆動型 NLoS 再構築に適している。
• ノイズのある入力データ上でエンド・ツー・エンドの学習を実施した結果、競合する性能が得られ、本手法の耐性および実センサデータへの適性が裏付けられた。