[論文レビュー] Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction

Anagh Malik, Parsa Mirdehghan+3 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、一光子LiDARデータからの一時的光子到着ヒストグラムを用いて、3次元再構築およびビュー合成を実現する新規手法、一時的Neural Radiance Fields（Transient NeRF）を提案する。時間飛行分布をニューラルレイトランスフィールドとしてモデル化することで、スパarsely、低SNRなLiDAR測定値から高精細な3次元再構築と新規ビュー合成が可能となり、6つの実世界シーンを含む新しい360°撮影データセットにおいて、最先端の性能を達成した。

ABSTRACT

Neural radiance fields (NeRFs) have become a ubiquitous tool for modeling scene appearance and geometry from multiview imagery. Recent work has also begun to explore how to use additional supervision from lidar or depth sensor measurements in the NeRF framework. However, previous lidar-supervised NeRFs focus on rendering conventional camera imagery and use lidar-derived point cloud data as auxiliary supervision; thus, they fail to incorporate the underlying image formation model of the lidar. Here, we propose a novel method for rendering transient NeRFs that take as input the raw, time-resolved photon count histograms measured by a single-photon lidar system, and we seek to render such histograms from novel views. Different from conventional NeRFs, the approach relies on a time-resolved version of the volume rendering equation to render the lidar measurements and capture transient light transport phenomena at picosecond timescales. We evaluate our method on a first-of-its-kind dataset of simulated and captured transient multiview scans from a prototype single-photon lidar. Overall, our work brings NeRFs to a new dimension of imaging at transient timescales, newly enabling rendering of transient imagery from novel views. Additionally, we show that our approach recovers improved geometry and conventional appearance compared to point cloud-based supervision when training on few input viewpoints. Transient NeRFs may be especially useful for applications which seek to simulate raw lidar measurements for downstream tasks in autonomous driving, robotics, and remote sensing.

研究の動機と目的

• 限られた視点数でのスパarsely、低信号の1光子LiDAR測定値から高品質な3次元シーンを再構築する課題に対処する。
• ニューラルレンダリングを用いて、一時的光子到着データから正確な新規ビュー合成および深度推定を可能にする。
• 独自に構築した1光子LiDARシステムを用いて、6つの実世界シーンを360°撮影した新しいデータセットを構築する。
• 時間飛行分布をニューラルレイトランスフィールドとしてモデル化することで、再構築の忠実度およびビュー合成品質を向上させる。
• 校正済みのハードウェアプロトタイプを用いて、多様な素材、テクスチャ、幾何形状において本手法の頑健性を実証する。

提案手法

• パulsesレーザー（532 nm、35 psパルス）、2次元スキャニングミラー、およびTCSPCを用いたSPADを用いて、1500バインで8 ps解像度の光子到着タイムスタンプを取得する、独自に開発した1光子LiDARシステムを構築する。
• 各シーンを回転台で18°刻みで回転させ、1シーンあたり合計20分の露出時間で、6つの実世界シーンの360°ビューを取得する。
• トランスレーションステージ上にチェッカーボードを配置し、raxelモデルを用いてカメラ内部パrameterを校正し、サブピクセルのコーナー補正と多項式フィッティングを用いて光学歪みを補正する。
• 3次元チェッカーボードコーナーの整合性最適化をロドリゲスの回転公式を用いて行う2段階の手順により、外挿パラメータ（回転中心および軸）を推定する。
• 時間飛行情報を入力特徴として組み込むことで、一時的光子ヒストグラムから体積密度および視点依存色を予測するニューラルレイトランスフィールドを訓練する。
• 深度のL1損失と、新規ビュー合成のための知覚損失（LPIPS、SSIM）を最小化する微分可能なレンダリング損失を用いて、ネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 1光子LiDARからの一時的光子ヒストグラムは、ニューラルレイトランスフィールドとして効果的にモデル化可能であり、高忠実度の3次元再構築およびビュー合成を可能にするか？
• RQ2 実世界のLiDARデータにおいて、従来のNeRFベース手法と比較して、本手法のTransient NeRFはビュー合成品質および深度精度の面でどのように優れているか？
• RQ3 スパarselyおよび低SNR測定値からの再構築において、ニューラルレイトランスフィールドに一時的時間飛行データを入力として用いることで、どのような影響が生じるか？
• RQ4 限られた視点サンプリング下で、多様なシーンの幾何形状、素材、テクスチャに対して、本手法はどの程度頑健であるか？
• RQ5 校正済みのハードウェアシステムおよび収集済みデータセットは、一時的LiDAR再構築分野における一般化およびベンチマーク化をどの程度支援できるか？

主な発見

• 提案手法のTransient NeRFは、新しい360°撮影データセットにおいて最先端の性能を達成し、5ビューでの平均LPIPSは0.172、SSIMは0.872であり、Instant NGP、DS-NeRF、Urban NeRFのベースラインを顕著に上回った。
• 深度推定において、本手法は5ビューでの平均L1深度誤差が0.006 mを達成し、同じデータセットで次善のベースライン（0.014 m）と比較して45％の改善を示した。
• 「boots」シーンでは、5ビューでのSSIMが0.914、LPIPSが0.155を達成し、挑戦的なテクスチャおよび鏡面反射表面でも優れた性能を示した。
• 2ビューでの使用時、2番目に優れたベースライン（Urban NeRF w/Mask）と比較して、L1深度誤差を50％以上低減したため、スパース入力からの強力な一般化性能を示した。
• 校正パイプラインは、回転中心および軸をミリメートル未満の精度で正確に推定でき、すべての360°ビュー間での正確な外部パラメータの整合性を実現した。
• 1500時間バイン（8 ps解像度）および18°の視点間隔で収集されたデータセットは、高忠実度の再構築を可能にし、今後の一時的LiDAR再構築研究のベンチマークとして機能する。