[논문 리뷰] RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis

Jonathan Tremblay, Moustafa Meshry외 10명|arXiv (Cornell University)|2022. 05. 14.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 약 300만 장의 고해상도(1600×1600) 이미지로 구성된 대규모 레이 트레이싱 합성 데이터셋 RTMV를 소개한다. 이 데이터셋은 약 2000개의 복잡한 시점에서 유래하였으며, 신규 시점 합성에 대한 종합적인 벤치마킹을 가능하게 한다. 데이터셋의 규모를 감당하기 위해 저자들은 희소 복합체 빛장면(SVLF)을 제안한다. 이는 희소 복합체 옥트리브, 최소한의 네트워크 아키텍처, 정답 깊이 지도 감독을 활용하여 NeRF 수준의 품질을 달성하면서도 학습 속도를 10배 빠르게 하고 렌더링 속도를 100배 빠르게 하는 고속이고 효율적인 방법이다.

ABSTRACT

We present a large-scale synthetic dataset for novel view synthesis consisting of ~300k images rendered from nearly 2000 complex scenes using high-quality ray tracing at high resolution (1600 x 1600 pixels). The dataset is orders of magnitude larger than existing synthetic datasets for novel view synthesis, thus providing a large unified benchmark for both training and evaluation. Using 4 distinct sources of high-quality 3D meshes, the scenes of our dataset exhibit challenging variations in camera views, lighting, shape, materials, and textures. Because our dataset is too large for existing methods to process, we propose Sparse Voxel Light Field (SVLF), an efficient voxel-based light field approach for novel view synthesis that achieves comparable performance to NeRF on synthetic data, while being an order of magnitude faster to train and two orders of magnitude faster to render. SVLF achieves this speed by relying on a sparse voxel octree, careful voxel sampling (requiring only a handful of queries per ray), and reduced network structure; as well as ground truth depth maps at training time. Our dataset is generated by NViSII, a Python-based ray tracing renderer, which is designed to be simple for non-experts to use and share, flexible and powerful through its use of scripting, and able to create high-quality and physically-based rendered images. Experiments with a subset of our dataset allow us to compare standard methods like NeRF and mip-NeRF for single-scene modeling, and pixelNeRF for category-level modeling, pointing toward the need for future improvements in this area.

연구 동기 및 목표

• 신규 시점 합성 알고리즘을 벤치마킹하기 위한 대규모 고해상도 합성 데이터셋의 부족을 보완한다.
• 다양한 시점에서 복잡한 재질, 조명, 카메라 자세, 다중 객체 구성이 포함된 시점에 대한 방법 평가를 가능하게 한다.
• 기존 방법으로는 전체 데이터셋을 처리하기에 계산적으로 비현실적인 문제를 해결하기 위해 매우 효율적인 대체 방법을 제안한다.
• rich한 메타데이터와 확장 가능한 데이터를 통해 소수의 시점 합성, 3D 재구성, 깊이 인식 렌더링 분야의 연구를 촉진한다.
• 대규모이고 다양한 벤치마크에서 현재 최고 수준의 방법들이 가지는 한계를 입증하여 향후 알고리즘 개선을 이끌어내는 데 기여한다.

제안 방법

• RTMV는 물리 기반의 노이즈 없는 이미지를 1600×1600 해상도로 생성하기 위해 Python 기반의 레이 트레이서인 NViSII를 사용하여 생성된다.
• 이 데이터셋은 네 가지 다른 3D 메시 컬렉션에서 유래한 약 2000개의 시점으로 구성되어 있어 기하학적 구조, 재질, 텍스처, 조명의 다양성을 보장한다.
• 카메라 자세는 반구나 환경 내 자유롭게 배치되어 자유 시점 렌더링과 도전적인 카메라 운동을 가능하게 한다.
• SVLF는 메모리와 계산을 줄이기 위해 희소 복합체 옥트리브 표현을 사용하며, 레이당 몇 개의 복합체만 쿼리한다.
• 특징의 연속성을 확보하기 위해 공유 디코더와 삼선형 보간을 사용하는 경량 신경망을 사용하여 모델 복잡도를 감소시킨다.
• 학습 중에 정답 깊이 맵을 사용하여 광학 두께와 표면 충격 추정을 안내함으로써 학습 안정성과 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 신규 시점 합성 방법들은 복잡한 시점과 자유 카메라 운동을 포함한 대규모이고 다양한 고해상도 합성 데이터셋에 일반화될 수 있는가?
• RQ2 NeRF 및 mip-NeRF와 같은 기존 방법들이 대규모 데이터셋에 스케일링될 때 발생하는 계산 및 성능 저하 요인은 무엇인가?
• RQ3 희소 복합체 기반의 빛장면 접근법은 얼마나 높은 수준의 NeRF 품질을 달성하면서도 학습 및 추론 시간을 크게 줄일 수 있는가?
• RQ4 시점 의존적 효과, 반투명 재질, 복합체 경계 아티팩트가 복합체 기반 방법의 렌더링 품질에 미치는 영향은 어떠한가?
• RQ5 합성 데이터셋에 포함된 풍부한 메타데이터는 소수의 시점 합성 또는 깊이 지도 기반 학습과 같은 새로운 학습 패러다임을 가능하게 할 수 있는가?

주요 결과

• RTMV는 약 2000개의 복잡한 다중 객체 시점에서 유래한 약 300만 장의 고해상도(1600×1600) 이미지를 포함한다. 이는 다양한 재질, 조명, 카메라 자세를 포함한다.
• SVLF는 RTMV 벤치마크에서 NeRF 수준의 신규 시점 합성 성능를 달성하면서도 학습 속도는 10배 빠르고, 렌더링 속도는 100배 빠르게 한다.
• 이 방법은 네트워크 복잡도를 감소시키고 정답 깊이 맵을 활용하여 학습 효율성을 향상시키고 아티팩트를 줄인다.
• 카메라가 시점에 너무 가까이 있을 경우 복합체 경계 아티팩트가 명확하게 나타나 고확대 렌더링에서의 한계를 보여준다.
• 광학 두께의 최적화되지 않은 학습은 특히 빨간 신발과 같은 복잡한 영역에서 유령 물체나 구멍이 발생하는 경우가 있다.
• 네트워크 아키텍처에 명시적인 시점 방향 입력이 없기 때문에 반사광 효과와 같은 시점 의존적 효과를 다루는 데 어려움을 겪는다.