[論文レビュー] LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields

Tao Tang, Longfei Gao+8 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Vision and Imaging被引用数 10

ひとこと要約

LiDAR-NeRF は、LiDAR の距離、強度、 ray-drop 確率を encode するニューラル放射場を学習することで、新しい LiDAR 視点をレンダリングする微分可能なエンドツーエンドのフレームワークを提示します。構造正則化と新しいオブジェクト中心のデータセット NeRF-MVL が特徴です。

ABSTRACT

We introduce a new task, novel view synthesis for LiDAR sensors. While traditional model-based LiDAR simulators with style-transfer neural networks can be applied to render novel views, they fall short of producing accurate and realistic LiDAR patterns because the renderers rely on explicit 3D reconstruction and exploit game engines, that ignore important attributes of LiDAR points. We address this challenge by formulating, to the best of our knowledge, the first differentiable end-to-end LiDAR rendering framework, LiDAR-NeRF, leveraging a neural radiance field (NeRF) to facilitate the joint learning of geometry and the attributes of 3D points. However, simply employing NeRF cannot achieve satisfactory results, as it only focuses on learning individual pixels while ignoring local information, especially at low texture areas, resulting in poor geometry. To this end, we have taken steps to address this issue by introducing a structural regularization method to preserve local structural details. To evaluate the effectiveness of our approach, we establish an object-centric multi-view LiDAR dataset, dubbed NeRF-MVL. It contains observations of objects from 9 categories seen from 360-degree viewpoints captured with multiple LiDAR sensors. Our extensive experiments on the scene-level KITTI-360 dataset, and on our object-level NeRF-MVL show that our LiDAR-NeRF surpasses the model-based algorithms significantly.

研究の動機と目的

• 新規 LiDAR 視点合成の動機付けとタスク定義。既存の LiDAR シミュレータが現実的な LiDAR パターンを生成できないギャップに対処する。
• 明示的な 3D 再構成を伴わず、NeRF に触発されたフレームワークを用いて、幾何学と各疑似ピクセル LiDAR 属性（距離、強度、ray-drop）を共同学習する。
• 低テクスチャ領域で局所的な幾何学的ディテールを維持するための構造正則化戦略を導入する。
• 複数の物体と視点での LiDAR 視点合成評価を可能にするため、NeRF-MVL のオブジェクト中心LiDARデータセットを作成・公開する。

提案手法

• LiDAR 点群をビューごとの range pseudo-image に変換し、各疑似ピクセルが LiDAR ビームに対応する。
• 深度関連密度と強度と ray-drop 確率の2チャネル特徴マップを予測する、NeRF風の radiance field を用い、各疑似ピクセル属性を予測する。視線に沿って統合された視点ごとの深度、強度、ray-drop を計算する。
• 低テクスチャ領域で主に局所構造の差を罰する構造正則化項を組み込み、幾何を改善する。
• 深度距離、強度、ray-drop、そして構造正則化項を組み合わせたマルチタスク損失で訓練する。

Figure 2: A comparison of novel view LiDAR point clouds generated from LiDARsim [ 6 ] , PCGen [ 7 ] , and our LiDAR-NeRF. LiDARsim suffers from inaccuracies in explicit 3D mesh reconstruction. PCGen overestimates object surfaces. Specifically, laser beams emitted by the LiDAR sensor can be influence

実験結果

リサーチクエスチョン

• RQ1 新規 viewpoints から現実的な LiDAR 視点を合成するために、微分可能な LiDAR レンダラーをエンドツーエンドで学習できるか。
• RQ2 LiDAR 固有属性（強度と ray-drop）をニューラル放射場フレームワーク内でどのようにモデル化できるか。
• RQ3 構造正則化戦略は LiDARNeRF の幾何忠実度を改善するか、特に低テクスチャ領域でか。
• RQ4 シーンレベルおよびオブジェクトレベルの新規 LiDAR 視点合成における LiDAR-NeRF の性能は、モデルベースのレンダラーと比べてどうか？

主な発見

Method	Dataset	C-D	F-score	RMSE	δ1	δ2	δ3	SSIM	MAE
LiDARsim	KITTI-360	0.951	66.89	5.745	66.34	71.11	74.42	0.696	0.126
PCGen	KITTI-360	0.187	87.16	4.328	76.90	79.72	81.38	0.550	0.245
Ours-NeRF	KITTI-360	0.143	85.93	4.050	78.13	79.79	80.42	0.545	0.235
Ours-iNGP (w/ SR)	KITTI-360	0.081	92.49	3.615	82.18	83.40	83.97	0.626	0.096
LiDARsim	NeRF-MVL	0.022	96.01	5.984	83.43	83.43	83.43	0.612	4.143
PCGen	NeRF-MVL	0.078	90.40	7.558	73.13	73.13	73.13	0.217	6.268
Ours-NeRF	NeRF-MVL	0.028	92.81	3.864	93.65	93.65	93.65	0.462	2.642
Ours-iNGP	NeRF-MVL	0.005	98.50	1.305	98.86	98.86	98.86	0.879	1.057

• LiDAR-NeRF は KITTI-360 と NeRF-MVL で、シーンレベルおよびオブジェクトレベルのタスクにおいて、ベースライン LiDAR レンダラー（LiDARsim、PCGen）を上回る。
• KITTI-360 では、iNGP ベースアーキテクチャと構造正則化を備えた LiDAR-NeRF が、試験したバリアントの中で最良の指標を達成（C-D、F-score、RMSE、δ1/δ2/δ3、SSIM、MAE）。
• NeRF-MVL のオブジェクトレベルデータでは、iNGP を用いた LiDAR-NeRF が、ベースラインより C-D、RMSE、δ1/δ2/δ3、SSIM、MAE で優れている。
• アブレーション実験は、構造正則化と iNGP アーキテクチャの選択が、幾何と LiDAR パターンの現実味を有意に向上させることを示す。

Figure 3: (a) (Top) The physical model of a LiDAR can be described as follow: each laser beam originates from the sensor origin and shoot outwards to a point in the real world or vanishes. One common pattern of laser beams is spinning in a 360-degree fashion. (Bottom) We convert the point clouds int