[論文レビュー] Points2NeRF: Generating Neural Radiance Fields from 3D point cloud

Dominik Zimny, T. Trzciński+2 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

Points2NeRF は、色付きの非構造的3次元点群から直接Neural Radiance Field (NeRF) の重みを生成するハイパーネットワークベースのオートエンコーダを提案する。この手法により、点群が疎である場合にNeRFの品質が低下する問題を克服し、高精度な新規視点再構築、学習済みオブジェクトカテゴリを超えた一般化、および効率的なNeRF初期化を実現した。ShapeNetベンチマークでは、F-Scoreが0.995（自動車カテゴリ）、Chamfer Distanceが0.16×10²の最先端性能を達成した。

ABSTRACT

Contemporary registration devices for 3D visual information, such as LIDARs and various depth cameras, capture data as 3D point clouds. In turn, such clouds are challenging to be processed due to their size and complexity. Existing methods address this problem by fitting a mesh to the point cloud and rendering it instead. This approach, however, leads to the reduced fidelity of the resulting visualization and misses color information of the objects crucial in computer graphics applications. In this work, we propose to mitigate this challenge by representing 3D objects as Neural Radiance Fields (NeRFs). We leverage a hypernetwork paradigm and train the model to take a 3D point cloud with the associated color values and return a NeRF network's weights that reconstruct 3D objects from input 2D images. Our method provides efficient 3D object representation and offers several advantages over the existing approaches, including the ability to condition NeRFs and improved generalization beyond objects seen in training. The latter we also confirmed in the results of our empirical evaluation.

研究の動機と目的

• 点群データが疎である場合に生じるNeRFレンダリング品質の低下を解消すること。
• 3次元点群入力を条件として用いることで、学習済みオブジェクトカテゴリを超えた一般化を可能にすること。
• 点群からNeRFの重みを生成する手法を開発し、効率的かつ高精度な新規視点再構築を実現すること。
• NeRFパラメータの学習により、連続的かつ暗黙的な3次元表現を提供し、補間性とノイズおよび不完全なデータに対する耐性を確保すること。

提案手法

• 本モデルは、色付きの3次元点群を低次元の潜在空間に符号化するハイパーネットワークの枠組みを採用する。
• デコーダーネットワークが潜在コードから完全なNeRF重みを生成し、これによりターゲットNeRFが新規視点をレンダリング可能になる。
• 画像再構成損失（PSNR）と3次元形状再構成損失（Chamfer Distance および F-Score）の組み合わせを用いて、エンドツーエンドでオートエンコーダーを訓練する。
• 潜在コードが多様な3次元オブジェクトクラスを表現可能であるため、さまざまなオブジェクトクラスへの一般化が可能になる。
• NeRF重みのパrametric関数として連続的な3次元オブジェクト表現を暗黙的に学習し、オブジェクト空間における補間が可能になる。
• 評価のための3000点サンプリングを伴い、2048点の点群を用いてShapeNetデータ上でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 点群データが疎であるにもかかわらず、2次元画像ではなく3次元点群から効果的にNeRFを訓練できるか？
• RQ2 3次元点群の疎性をどのように緩和すれば、高品質なNeRFレンダリングを実現できるか？
• RQ3 NeRF生成プロセスを3次元点群入力で条件づけることで、学習済みオブジェクトを超えた一般化が可能か？
• RQ4 Points2NeRF は、従来の画像ベースNeRF訓練における効果的な初期化としてどの程度有効に機能するか？
• RQ5 学習された潜在空間は、3次元オブジェクトの意味的な補間と連続的表現をサポートできるか？

主な発見

• Points2NeRF は、ShapeNetの自動車カテゴリでテストF-Score 0.995を達成し、POCO（0.946）やConvONet（0.849）といったベースラインを上回った。
• 自動車カテゴリにおけるChamfer Distanceは0.16×10²にまで低下し、PointConv（1.49×10²） や ONet（1.04×10²） より顕著に優れた性能を示した。
• Points2NeRF で得られた重みを初期値として用いることで、NeRFは約7,000エポックで高いPSNRに到達するが、標準的なNeRF訓練では約30,000エポックを要する。
• 条件付け機構のおかげで、学習済みオブジェクトとは異なるカテゴリに対しても一般化が可能であり、未学習のオブジェクトカテゴリにおいてゼロショット推論が可能となった。
• 潜在空間により、3次元オブジェクト間の意味的な補間が可能であり、モデルが連続的かつ暗黙的な3次元表現を学習していることを示した。
• 部分的でノイジーな点群に対してもモデルは耐性を示したが、今後の研究でこの分野における明示的な改善を図る予定である。