[논문 리뷰] Stanford-ORB: A Real-World 3D Object Inverse Rendering Benchmark

Zhengfei Kuang, Yunzhi Zhang외 4명|arXiv (Cornell University)|2023. 10. 24.

Advanced Vision and Imaging인용 수 6

한 줄 요약

Stanford-ORB는 실제 자연 환경에서 촬영한 14개의 물체를 포함하여 지정된 3D 스캔, 다중 시점 이미지, 환경 조명을 갖춘 3차원 물체 역설계 렌더링을 위한 첫 번째 실세계 기반 벤치마크를 소개한다. 이 벤치마크를 통해 기하 구조 복원, 재조명, 새로운 시점 합성에 대한 종합적인 평가가 가능해지며, 이는 NVDiffRecMC가 유연한 몽테카를로 렌더러와 DMTet 기반의 형상 표현 방식을 사용하여 모든 작업에서 최고 성능을 기록함을 드러낸다.

ABSTRACT

We introduce Stanford-ORB, a new real-world 3D Object inverse Rendering Benchmark. Recent advances in inverse rendering have enabled a wide range of real-world applications in 3D content generation, moving rapidly from research and commercial use cases to consumer devices. While the results continue to improve, there is no real-world benchmark that can quantitatively assess and compare the performance of various inverse rendering methods. Existing real-world datasets typically only consist of the shape and multi-view images of objects, which are not sufficient for evaluating the quality of material recovery and object relighting. Methods capable of recovering material and lighting often resort to synthetic data for quantitative evaluation, which on the other hand does not guarantee generalization to complex real-world environments. We introduce a new dataset of real-world objects captured under a variety of natural scenes with ground-truth 3D scans, multi-view images, and environment lighting. Using this dataset, we establish the first comprehensive real-world evaluation benchmark for object inverse rendering tasks from in-the-wild scenes, and compare the performance of various existing methods.

연구 동기 및 목표

• 복잡한 자연 환경에서의 역설계 렌더링 방법 평가를 위한 실세계 기반 벤치마크 부족 문제를 해결하기 위해.
• 실세계 데이터를 활용하여 재질 복원, 조명 추정, 3차원 구조 복원의 정량적 비교를 가능하게 하기 위해.
• 역설계 렌더링 분야에서 합성 평가와 실세계 일반화 사이의 격차를 메우기 위해.
• 향후 3차원 물체 역설계 렌더링 분야 연구를 위한 표준화된 벤치마크를 제공하기 위해.
• 7개의 실세계 장면에서 촬영한 14개의 실물 물체에 대해 지정된 3차원 스캔, 다중 시점 이미지, 환경 조명을 포함한 데이터셋을 공개하기 위해.

제안 방법

• 저자들은 7개의 다양한 실세계 장면에서 14개의 실물 물체를 촬영하여 다중 시점 이미지와 고정밀 3차원 스캔를 확보하였다.
• 정확한 재조명 평가를 위해 HDR 풍경 사진을 사용하여 지정된 환경 조명을 촬영하였다.
• NVDiffRecMC 방법에서 유연한 몽테카를로(MC) 렌더러를 사용하여 재질 및 시점 합성 정확도를 향상시켰다.
• 벤치마크는 PSNR-H, PSNR-L, SSIM, LPIPS와 같은 지표를 사용하여 재조명 및 새로운 시점 합성 평가를 수행한다.
• SDF나 NeRF 기반 방법보다 기하 구조 복원 성능을 향상시키기 위해 DMTet 기반의 형상 표현 방식을 사용하였다.
• 재질 예측 정확도 평가를 위해 스튜디오 촬영에서 유도된 가짜 지정 알베도 지ap을 도입하였다.

실험 결과

연구 질문

• RQ1 기존의 역설계 렌더링 방법들은 합성 벤치마크와 비교해 실세계, 실외 환경에서 어떻게 성능을 발휘하는가?
• RQ2 예를 들어 몽테카를로 렌더링과 같은 유연한 렌더링 기법이 재조명 및 시점 합성 품질에 어떤 영향을 미치는가?
• RQ3 지정된 3차원 스캔과 재질 사전 지식에 접근할 경우, 역설계 렌더링 작업의 성능에 어떤 영향을 미치는가?
• RQ4 현재의 방법들이 복잡한 실세계 조명 및 재질 효과에 얼마나 잘 일반화되는가?
• RQ5 SDF, NeRF, 또는 DMTet 중 어떤 형상 표현 방식이 실세계 환경에서 가장 정확한 기하 구조 복원을 이룰 수 있는가?

주요 결과

• NVDiffRecMC는 모든 작업에서 최고의 전반적 성능을 기록하였으며, 새로운 시점 합성에서 PSNR-H는 28.03, LPIPS는 0.028를 기록하였다.
• NVDiffRecMC는 이전 버전인 NVDiffRec 및 모든 기준 방법보다 재조명 성능에서 뛰어나, PSNR-H 28.03, SSIM 0.982를 달성하였다.
• IDR는 기하 구조 복원 및 새로운 시점 합성에서 가장 높은 성능을 기록하였으며, NeRF 및 기타 NeRF 기반 방법보다 뛰어났다.
• 지정된 3차원 스캔 및 가짜 재질 정보(† 표시)에 접근한 방법들은 그렇지 않은 방법보다 뚜렷이 뛰어난 성능을 보였으며, 여전히 큰 성능 격차가 존재함을 시사한다.
• 유연한 몽테카를로 렌더러의 사용은 복잡한 조명 환경에서 재조명 및 시점 합성 품질에 측정 가능한 향상을 가져왔다.
• 스튜디오 촬영에서 유도된 가짜 지정 알베도 지도를 사용한 평가가 재질 예측 정확도 평가에 가장 적합하였으며, NVDiffRecMC는 가장 정확한 결과를 보였다.