[논문 리뷰] A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion

Miriam Jäger, Patrick Hübner외 2명|arXiv (Cornell University)|2023. 04. 20.

Optical measurement and interference techniques인용 수 4

한 줄 요약

이 논문은 신경 렌더링 필드(NeRF)를 사용하여 마이크로소프트 홀로렌즈 데이터에서 직접 3D 재구성 파이프라인을 제안하며, 내부 홀로렌즈 자세 데이터와 구조에서의 운동(SfM)을 통해 유도된 자세 데이터를 비교한다. 자세 보정을 통해 NeRF 학습 중에 내부 홀로렌즈 자세가 PSNR 27 dB를 기록하고 SfM 자세와 유사한 3D 재구성 품질을 달성함을 입증하며, 무늬가 없고 세밀한 구조를 가진 표면에서 전통적인 다중 시점 스테레오(MVS)보다 더 뛰어난 세부 사항과 완전성 확보를 보여준다.

ABSTRACT

Neural Radiance Fields (NeRFs) are trained using a set of camera poses and associated images as input to estimate density and color values for each position. The position-dependent density learning is of particular interest for photogrammetry, enabling 3D reconstruction by querying and filtering the NeRF coordinate system based on the object density. While traditional methods like Structure from Motion are commonly used for camera pose calculation in pre-processing for NeRFs, the HoloLens offers an interesting interface for extracting the required input data directly. We present a workflow for high-resolution 3D reconstructions almost directly from HoloLens data using NeRFs. Thereby, different investigations are considered: Internal camera poses from the HoloLens trajectory via a server application, and external camera poses from Structure from Motion, both with an enhanced variant applied through pose refinement. Results show that the internal camera poses lead to NeRF convergence with a PSNR of 25\,dB with a simple rotation around the x-axis and enable a 3D reconstruction. Pose refinement enables comparable quality compared to external camera poses, resulting in improved training process with a PSNR of 27\,dB and a better 3D reconstruction. Overall, NeRF reconstructions outperform the conventional photogrammetric dense reconstruction using Multi-View Stereo in terms of completeness and level of detail.

연구 동기 및 목표

• 내부 홀로렌즈 카메라 자세를 직접 추출한 서버 애플리케이션을 통해 NeRF 학습에 활용할 수 있는지의 가능성을 평가하는 것.
• 내부 홀로렌즈 궤적과 SfM에서 유도된 카메라 자세를 사용할 때 NeRF 학습 및 재구성 품질을 비교하는 것.
• NeRF 학습 중 자세 보정이 수렴성과 3D 재구성 품질에 미치는 영향을 평가하는 것.
• 완전성과 세부 사항 측면에서 NeRF 기반 재구성과 전통적인 다중 시점 스테레오(MVS)를 비교 평가하는 것.
• NeRF를 사용하여 홀로렌즈 센서 데이터에서 직접 고해상도 3D 재구성 파이프라인을 구축할 수 있음을 보여주는 것.

제안 방법

• 고유의 서버 애플리케이션을 사용하여 홀로렌즈 궤적에서 직접 카메라 자세와 RGB 이미지를 추출한다.
• 동일한 홀로렌즈 이미지를 사용하여 구조에서의 운동(SfM)을 통해 외부 카메라 자세를 유도한다.
• 내부 자세와 SfM 자세를 모두 입력으로 사용하여 NeRF를 학습시키며, 학습 중 자세 보정 여부에 따라 비교한다.
• NeRF 학습 중 외부 카메라 파rameter(회전 및 이동)를 최적화하여 자세 보정을 수행한다.
• 고밀도 값의 NeRF 좌표를 샘플링하여 3D 점군을 추출하고, 물체 표면으로 필터링한다.
• 동일한 카메라 자세를 사용하여 기준 다중 시점 스테레오(MVS) 점군을 생성하여 정량적 및 정성적 비교를 수행한다.

Figure 1: Flowchart of the applied investigations. Input data are two different types of camera poses: internal poses of the HoloLens and externally calculated poses via SfM. Subsequently, in each case a pose refinement variant is performed during the training. The four resulting point clouds are ex

실험 결과

연구 질문

• RQ1 내부 홀로렌즈 카메라 자세만으로 NeRF 학습이 수렴하고 의미 있는 3D 재구성 결과를 도출할 수 있는가?
• RQ2 내부 홀로렌즈 자세와 SfM에서 유도된 자세를 사용했을 때 NeRF 기반 3D 재구성 품질은 어떻게 비교되는가?
• RQ3 NeRF 학습 중 내부 홀로렌즈 자세에 대해 자세 보정을 수행할 경우 재구성 품질 향상 정도는 어느 정도인가?
• RQ4 어려운 표면에서 NeRF 재구성 결과는 전통적인 다중 시점 스테레오(MVS)와 완전성과 세부 사항 측면에서 어떻게 비교되는가?
• RQ5 SfM를 통한 사전 처리 없이 홀로렌즈 데이터에서 고해상도 NeRF 기반 3D 재구성으로 이어지는 직접 파이프라인을 구축할 수 있는가?

주요 결과

• 내부 홀로렌즈 카메라 자세는 단순한 x축 회전을 거친 후 약 20,000개의 학습 에포크 후 PSNR 25 dB를 기록하며 NeRF 수렴을 가능하게 하였다.
• NeRF 학습 중 자세 보정을 수행함으로써 내부 홀로렌즈 기반 재구성의 PSNR가 27 dB로 향상되었으며, SfM에서 유도된 자세의 성능과 동일한 결과를 기록하였다.
• 보정된 내부 홀로렌즈 자세를 사용한 NeRF 기반 3D 재구성 품질은 SfM 자세 기반 결과와 정성적으로 유사하였으며, 최소한의 잡음이 관찰되었다.
• NeRF 기반 재구성은 특히 무늬가 없고 세밀한 구조를 가진 표면(예: 식물의 가지)에서 전통적인 다중 시점 스테레오(MVS)보다 완전성과 세부 사항 측면에서 뛰어난 성능을 보였다.
• MVS 재구성에서는 세밀한 구조에 회색 잡음이 발생했고 화분을 재구성하지 못했지만, NeRF는 이러한 특징을 유지하였다.
• NeRF 재구성에서의 색상 변화는 미미하였으며, 방향성 색상 모델링의 영향으로 인한 것으로 판단되었으며, 전체 재구성 품질에 영향을 주지 않았다.

Figure 3: Visualization of an image of the captured Ficus plant as our measurement object using the Microsoft HoloLens RGB camera.