[論文レビュー] Point-NeRF: Point-based Neural Radiance Fields

Qiangeng Xu, Zexiang Xu+5 more|arXiv (Cornell University)|Jan 21, 2022

Computer Graphics and Visualization Techniques被引用数 10

ひとこと要約

Point-NeRF は、学習可能な 3D ポイントクラウドとニューラル特徴量を用いたポイントベースのニューラルレイトランスフィールド表現を提案する。これにより、高速で高品質な新規ビュー合成が可能となる。事前学習済みの深層ネットワークから初期化し、適応的ポイントの追加と削除を伴うシーンごとの微調整を施すことにより、20–40 分の最適化で NeRF 水準の品質を達成する。これは標準 NeRF よりも 30 倍速く、他の再構築手法から得られるノイズ多めまたは不完全なポイントクラウドに対しても頑健である。

ABSTRACT

Volumetric neural rendering methods like NeRF generate high-quality view synthesis results but are optimized per-scene leading to prohibitive reconstruction time. On the other hand, deep multi-view stereo methods can quickly reconstruct scene geometry via direct network inference. Point-NeRF combines the advantages of these two approaches by using neural 3D point clouds, with associated neural features, to model a radiance field. Point-NeRF can be rendered efficiently by aggregating neural point features near scene surfaces, in a ray marching-based rendering pipeline. Moreover, Point-NeRF can be initialized via direct inference of a pre-trained deep network to produce a neural point cloud; this point cloud can be finetuned to surpass the visual quality of NeRF with 30X faster training time. Point-NeRF can be combined with other 3D reconstruction methods and handles the errors and outliers in such methods via a novel pruning and growing mechanism. The experiments on the DTU, the NeRF Synthetics , the ScanNet and the Tanks and Temples datasets demonstrate Point-NeRF can surpass the existing methods and achieve the state-of-the-art results.

研究の動機と目的

• NeRF の著しく長い学習時間を解消するため、より効率的なレイトランスフィールド表現を導入すること。
• 高速なジオメトリ初期化に有効な深層マルチビューステレオ（MVS）と、高品質レンダリングを実現するニューラルレイトランスフィールドの長所を統合すること。
• 穴や外れ値を含む点群であっても、任意の点群からレイトランスフィールドを初期化・最適化できる汎用フレームワークを開発すること。
• シーンごとの最適化中に、新規のポイント追加と削除メカニズムを導入することで、レンダリング品質と頑健性を向上させること。

提案手法

• 各ポイントが学習可能なニューラル特徴量を用いて局所的な 3D ジオメトリと外観を符号化するニューラルポイントクラウドとしてシーンを表現する。
• 3D MLP を用いて近隣のニューラルポイントを集約し、任意の 3D 位置における体積密度と視点依存レイトランスを予測することで、微分可能なレイマーチングを可能にする。
• 入力画像から深度と 2D 特徴量を予測する深層ネットワークのエンドツーエンド学習によりポイントベースのレイトランスフィールドを初期化し、その後 3D にアンプロジェクションする。
• 2段階の最適化を適用する：一般化を目的とした初期エンドツーエンド学習、その後に新規のポイント追加と削除メカニズムを用いたシーンごとの微調整。
• ボリュームレンダリング中に幾何的推論を導入し、高密度領域の境界付近に新しいポイントを追加し、低密度領域のポイントを削除する。
• 事前学習済みの MVS ネットワーク（例：コストボリュームネットワーク）と CNN を活用して初期ポイントクラウドと特徴量を生成し、推論ベースの初期化を高速化する。

(a) Neural Point Generation.

実験結果

リサーチクエスチョン

• RQ1 標準 NeRF よりも著しく短い学習時間で、高精度な新規ビュー合成を実現できるポイントベースのニューラルレイトランスフィールド表現は可能か？
• RQ2 事前学習済みの深層ネットワークを用いて、直接ニューラルポイントクラウドの初期化を推論し、迅速なシーンごとの最適化を可能にするか？
• RQ3 提案されたポイントの追加・削除メカニズムは、低品質または不完全なポイントクラウドから出発した場合に、レンダリング品質の向上にどの程度効果的か？
• RQ4 Point-NeRF は多様なデータセットに一般化可能であり、NeRF や他のニューラルレイトランスフィールドモデルを上回る性能を示せるか？

主な発見

• Point-NeRF は、DTU、NeRF Synthetic、Tanks and Temples、ScanNet データセットにおいて、最先端の新規ビュー合成性能を達成した。
• 20–40 分間のシーンごとの最適化で十分に、NeRF よりも 20 時間以上も長い学習時間を要するが、30 倍の高速化を実現した。
• NeRF Synthetic データセットでは、20K ステップの学習で NeRF と同等の品質を達成したが、時間は 30 倍短く、Hotdog シーンでは PSNR 30.97、SSIM 0.942 を達成した。
• 穴やノイズを含む COLMAP ポイントクラウドから初期化した場合でも、Point-NeRF は高品質な結果を達成した。200K の最適化ステップ後、Ship シーンでは PSNR 30.18、SSIM 0.941 を達成した。
• ポイントの追加・削除メカニズムにより、再構築品質が顕著に向上した。Hotdog シーンでは、COLMAP ポイントを用いた場合、PSNR が 29.91 から 35.49 に、SSIM が 0.978 から 0.986 に向上した。
• 本手法は、細かなディテール（例：ロープ）や細い構造物を効果的に回復し、大きなジオメトリックな穴をも効果的に埋めることが可能である。これは、スパarsな不完全なポイントクラウドにおける定性的な比較で示された。

(b) Point-NeRF Representation with Volume Rendering.