[論文レビュー] A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion

Miriam Jäger, Patrick Hübner+2 more|arXiv (Cornell University)|Apr 20, 2023

Optical measurement and interference techniques被引用数 4

ひとこと要約

本稿では、Neural Radiance Fields (NeRF) を用いて Microsoft HoloLens のデータから直接 3D 再構成パイプラインを提案し、内部 HoloLens 軌道ポーズと Structure from Motion (SfM) で導出されたポーズを比較する。ポーズの最適化を NeRF 学習中に施した結果、内部 HoloLens ポーズが PSNR 27 dB を達成し、SfM ポーズと同等の 3D 再構成品質を示した。これは、テクスチャのない表面や細かい構造を持つ表面において、従来の Multi-View Stereo (MVS) よりも詳細さと完全性に優れていることを示している。

ABSTRACT

Neural Radiance Fields (NeRFs) are trained using a set of camera poses and associated images as input to estimate density and color values for each position. The position-dependent density learning is of particular interest for photogrammetry, enabling 3D reconstruction by querying and filtering the NeRF coordinate system based on the object density. While traditional methods like Structure from Motion are commonly used for camera pose calculation in pre-processing for NeRFs, the HoloLens offers an interesting interface for extracting the required input data directly. We present a workflow for high-resolution 3D reconstructions almost directly from HoloLens data using NeRFs. Thereby, different investigations are considered: Internal camera poses from the HoloLens trajectory via a server application, and external camera poses from Structure from Motion, both with an enhanced variant applied through pose refinement. Results show that the internal camera poses lead to NeRF convergence with a PSNR of 25\,dB with a simple rotation around the x-axis and enable a 3D reconstruction. Pose refinement enables comparable quality compared to external camera poses, resulting in improved training process with a PSNR of 27\,dB and a better 3D reconstruction. Overall, NeRF reconstructions outperform the conventional photogrammetric dense reconstruction using Multi-View Stereo in terms of completeness and level of detail.

研究の動機と目的

• サーバー応用プログラムを介して直接抽出された内部 HoloLens カメラポーズを用いて NeRF の学習に用いることの可能性を評価すること。
• 内部 HoloLens 軌道ポーズと SfM で導出されたカメラポーズを用いた NeRF の学習および再構成品質を比較すること。
• NeRF 学習中にポーズの最適化を施すことで、収束性および 3D 再構成品質に与える影響を評価すること。
• 完全性および詳細さの観点から、NeRF を用いた再構成を従来の Multi-View Stereo (MVS) と比較すること。
• NeRF を用いて HoloLens センサデータから直接、スムーズで高解像度の 3D 再構成パイプラインを構築することを実証すること。

提案手法

• カスタムサーバー応用プログラムを用いて、HoloLens 軌道からカメラポーズと RGB イメージを直接抽出した。
• 同じ HoloLens イメージを用いて Structure from Motion (SfM) を実行し、外部カメラポーズを生成した（比較用）。
• 内部ポーズおよび SfM ポーズを入力として NeRF を学習させ、ポーズの最適化を施した・しない両状態で学習を実施した。
• NeRF 学習中に外挿パラメータ（回転および平行移動）を最適化することでポーズの最適化を実装した。
• 高密度の値を示す NeRF 座標をサンプリングし、物体表面に該当する部分をフィルタリングすることで 3D ポイントクラウドを抽出した。
• 同一のカメラポーズを用いてベースラインの Multi-View Stereo (MVS) ポイントクラウドを生成し、定量的および定性的な比較を実施した。

Figure 1: Flowchart of the applied investigations. Input data are two different types of camera poses: internal poses of the HoloLens and externally calculated poses via SfM. Subsequently, in each case a pose refinement variant is performed during the training. The four resulting point clouds are ex

実験結果

リサーチクエスチョン

• RQ1 内部 HoloLens カメラポーズのみを用いた NeRF の学習が、収束性および意味のある 3D 再構成を達成できるか？
• RQ2 内部 HoloLens ポーズと SfM で導出されたポーズを用いた NeRF の 3D 再構成品質は、どのように比較できるか？
• RQ3 NeRF 学習中に内部 HoloLens ポーズの最適化を施すことで、再構成品質がどの程度向上するか？
• RQ4 テクスチャのない表面など困難な表面において、NeRF の再構成は従来の Multi-View Stereo (MVS) よりも完全性および詳細さに優れているか？
• RQ5 SfM を介した事前処理を経ずに、HoloLens データから直接高解像度の NeRF を用いた 3D 再構成パイプラインを構築できるか？

主な発見

• 内部 HoloLens カメラポーズは、単純な x 軸回転を施した後、約 20,000 学習エポックで PSNR 25 dB を達成し、NeRF の収束を実現した。
• NeRF 学習中にポーズの最適化を施した結果、内部 HoloLens ポーズを用いた再構成の PSNR が 27 dB に向上し、SfM で導出されたポーズと同等の性能を示した。
• 最適化を施した内部 HoloLens ポーズを用いた NeRF の 3D 再構成品質は、SfM ポーズを用いた場合と定性的に同等であり、最小限のアーティファクトを示した。
• NeRF を用いた再構成は、特にテクスチャのない表面や細かい構造を持つ表面（例：植物の枝）において、従来の Multi-View Stereo (MVS) を上回る完全性と詳細さを示した。
• MVS 再構成では細かい構造にグレーのアーティファクトが現れ、プランターの再構成に失敗したが、NeRF ではこれらの特徴が保持された。
• NeRF 再構成における色のばらつきはわずかであり、方向性の色モデリングに起因すると考えられ、全体の再構成品質に影響を与えていなかった。

Figure 3: Visualization of an image of the captured Ficus plant as our measurement object using the Microsoft HoloLens RGB camera.