[논문 리뷰] Towards a Robust Framework for NeRF Evaluation

Adrian Azzarelli, Nantheera Anantrasirichai외 1명|arXiv (Cornell University)|2023. 05. 29.

Visual perception and processing mechanisms인용 수 4

한 줄 요약

이 논문은 전체 파이프라인의 오차 누적에서 신경 렌더링 네트워크를 분리하고 메시 기반 표현에서 레이 캐스팅을 사용하여 정확한 지상 진실을 생성함으로써 신경 렌더링 필드(NeRFs)에 대한 강건하고 파rametric한 평가 프레임워크를 제안한다. 이 프레임워크는 전체 장면 평균 예측 오차(WAPE) 지표와 작업 복잡도 지표를 도입하여 기존의 PSNR와 같은 전통적 지표보다 뛰어난 객관적 평가를 가능하게 하며, SIREN이 WAPE와 시각적 품질 모두에서 가장 우수한 성능을 보였다.

ABSTRACT

Neural Radiance Field (NeRF) research has attracted significant attention recently, with 3D modelling, virtual/augmented reality, and visual effects driving its application. While current NeRF implementations can produce high quality visual results, there is a conspicuous lack of reliable methods for evaluating them. Conventional image quality assessment methods and analytical metrics (e.g. PSNR, SSIM, LPIPS etc.) only provide approximate indicators of performance since they generalise the ability of the entire NeRF pipeline. Hence, in this paper, we propose a new test framework which isolates the neural rendering network from the NeRF pipeline and then performs a parametric evaluation by training and evaluating the NeRF on an explicit radiance field representation. We also introduce a configurable approach for generating representations specifically for evaluation purposes. This employs ray-casting to transform mesh models into explicit NeRF samples, as well as to "shade" these representations. Combining these two approaches, we demonstrate how different "tasks" (scenes with different visual effects or learning strategies) and types of networks (NeRFs and depth-wise implicit neural representations (INRs)) can be evaluated within this framework. Additionally, we propose a novel metric to measure task complexity of the framework which accounts for the visual parameters and the distribution of the spatial data. Our approach offers the potential to create a comparative objective evaluation framework for NeRF methods.

연구 동기 및 목표

• NeRFs에 대한 신뢰할 수 있고 객관적인 평가 방법의 부족을 해결하기 위해, 현재 주로 주관적 평가와 전통적인 영상 품질 지표에 의존하고 있는 점을 개선한다.
• 전체 NeRF 파이프라인의 오차 누적에서 신경 렌더링 네트워크를 분리하여, 렌더링 성능에 대한 정밀하고 파rametric한 평가를 가능하게 한다.
• 메시 모델에서의 레이 캐스팅을 기반으로 한 구성 가능한 지상 진실 합성 방법을 개발하여 고해상도 레이디언스 필드 샘플을 생성한다.
• 색상 및 밀도 필드 전반에 걸쳐 예측 정확도를 정량화하는 새로운 전체 장면 평균 예측 오차(WAPE) 지표를 도입한다.
• 시야 분포, 입력 샘플 수, 알고리즘 복잡도를 고려한 작업 복잡도 지표를 정의하여 학습 난이도를 보다 잘 반영한다.

제안 방법

• 프레임워크는 신경 렌더링 네트워크를 전체 NeRF 파이프라인에서 분리하여, 렌더링 컴ponent의 독립적 평가를 가능하게 한다.
• 지상 진실은 삼각형 또는 직사각형 메시 모델을 레이 캐스팅과 레이 색상 조정을 통해 명시적 NeRF 샘플로 변환하여 합성한다.
• 전체 장면 평균 예측 오차(WAPE)는 모든 레이에 대해 예측값과 지상 진실의 색상 및 밀도 값 간의 평균 절대 오차로 계산된다.
• 입력 샘플 수, 학습 및 새로운 시야의 공간 분포, 레이 트레이싱 알고리즘의 기능적 복잡도를 통합한 작업 복잡도 지표를 제안한다.
• 입력 및 출력 정의를 적절히 조정함으로써, NeRFs와 깊이 기반 암묵적 신경 표현(INRs) 모두에 대한 평가를 지원한다.
• NeRFStudio 호환 코드를 사용하여 프레임워크를 검증하였으며, 교차하는 메시가 있는 시뮬레이션 장면에서 다양한 활성화 함수(ReLU, SIREN, WIRE, GARF)에 대해 테스트하였다.

Figure 1 : Our proposed framework for evaluation. The Target Network is the rendering network generating NeRF colour and density fields. The data synthesis employs the Mesh to NeRF and Ray Shading modules to input the target network and to evaluate the colour and density predictions, respectively. F

실험 결과

연구 질문

• RQ1 전체 파이프라인의 오차 누적과 무관하게 NeRF 렌더링 성능을 객관적으로 평가할 수 있는 방법은 무엇인가?
• RQ2 제안된 WAPE 지표는 PSNR와 같은 전통적 지표보다 얼마나 더 정확한 렌더링 정확도를 반영하는가?
• RQ3 메시에서 NeRF로의 레이 캐스팅 기반 구성 가능한 지상 진실 합성 방법은 평가에 대한 신뢰할 수 있고 고품질의 기준 데이터를 생성할 수 있는가?
• RQ4 시야 분포와 입력 샘플 수로 정의되는 작업 복잡도는 INRs와 NeRFs의 학습 난이도에 어떻게 영향을 미치는가?
• RQ5 SIREN, ReLU 등 다양한 활성화 함수 중에서 제안된 평가 프레임워크 하에서 가장 정확하고 안정적인 예측을 제공하는 것은 무엇인가?

주요 결과

• SIREN은 WAPE 점수 0.092 ± 0.017을 기록하여 ReLU(0.101 ± 0.024), WIRE(0.109 ± 0.021), GAUSS(0.185 ± 0.019)를 모두 앞서며 뛰어난 예측 정확도를 보였다.
• PSNR가 44.0 ± 9.6으로 높은 수준이었음에도 불구하고, ReLU+encoder 방법은 노이즈가 심하고 정밀한 기하학적 배치를 어려워하며, PSNR가 공간 정확도를 포괄하지 못하는 한계를 드러냈다.
• 가우시안 방법은 높은 PSNR(42.3 ± 6.0)를 기록했지만 WAPE는 0.185 ± 0.019로 상당히 높아, PSNR가 충분히 보상하지 못하는 바람에 장면의 대부분을 과소평가하는 것으로 나타났다.
• SIREN은 고주파 영역에서 특히 매끄럽고 구조적인 시각적 추정을 제공했으며, 이는 WAPE 성능 향상과 일치했다.
• 제안된 작업 복잡도 지표는 학습 및 새로운 시야가 공간적으로 일치할 경우 복잡도가 감소하는 등 학습 난이도의 차이를 효과적으로 반영했다.
• 기존 지표인 PSNR는 오해의 소지가 있으며, WAPE는 더 신뢰할 수 있고 객관적인 렌더링 품질 측정 방법을 제공함을 입증했다.

Figure 2 : Example of a NeRF volumetric sample using Equation 1 to render volume samples falling along the same ray