[논문 리뷰] NViSII: A Scriptable Tool for Photorealistic Image Generation

Nathan Morrical, Jonathan Tremblay외 5명|arXiv (Cornell University)|2021. 05. 28.

Advanced Vision and Imaging참고 문헌 35인용 수 9

한 줄 요약

NViSII는 NVIDIA의 OptiX와 AI 디노이징 기술을 기반으로 한 Python 기반의 오픈소스 레이 트레이서로, 고해상도 사진과 같은 실사적 이미지 생성을 가능하게 하며, 복잡한 3D 시뮬레이션에 대한 완전한 프로그래밍 제어를 제공한다. 물리 기반 재질, 동적 조명, 카메라 효과(예: 초점 깊이, 모션 블러) 및 메타데이터 내보내기(예: 세그멘테이션, 깊이, 광학 유사)를 지원하여, 래스터 기반 대안 대비 객체 검출 및 자세 추정 작업에서 개선된 시뮬레이션에서 실제 세계로의 일반화 성능을 보여준다.

ABSTRACT

We present a Python-based renderer built on NVIDIA's OptiX ray tracing engine and the OptiX AI denoiser, designed to generate high-quality synthetic images for research in computer vision and deep learning. Our tool enables the description and manipulation of complex dynamic 3D scenes containing object meshes, materials, textures, lighting, volumetric data (e.g., smoke), and backgrounds. Metadata, such as 2D/3D bounding boxes, segmentation masks, depth maps, normal maps, material properties, and optical flow vectors, can also be generated. In this work, we discuss design goals, architecture, and performance. We demonstrate the use of data generated by path tracing for training an object detector and pose estimator, showing improved performance in sim-to-real transfer in situations that are difficult for traditional raster-based renderers. We offer this tool as an easy-to-use, performant, high-quality renderer for advancing research in synthetic data generation and deep learning.

연구 동기 및 목표

• 기존의 합성 데이터 도구들이 완전한 스크립터블리티, 실사적 품질, 고급 렌더링 기능 지원 부족 등의 한계를 해결하기 위해.
• 연구자들이 Python API를 통해 물리적으로 정확한 재질, 조명, 카메라 효과를 갖춘 복잡하고 랜덤화된 3D 시뮬레이션을 절차적으로 생성할 수 있도록 하기 위해.
• 깊이, 노멀, 광학 유사성 등의 정확한 메타데이터를 포함한 고품질 합성 데이터를 생성함으로써 시뮬레이션에서 실제 세계로의 일반화 성능을 향상시키기 위해.
• 멀티 GPU 가속 및 헤드리스 렌더링을 지원하는 경량이며 설치가 용이하고 크로스 플랫폼인 솔루션을 제공하기 위해.
• 특히 유리나 금속과 같은 도전적인 재질에 대해 물리 기반 렌더링이 강력한 비전 모델 훈련에 어떻게 기여하는지 보여주기 위해.

제안 방법

• 도구는 물리 기반 렌더링을 위한 하드웨어 가속 경로 추적을 가능하게 하는 NVIDIA의 OptiX 레이 트레이싱 엔진을 기반으로 하며, C++/CUDA 백엔드를 사용한다.
• 장면 요소(예: 메ッシュ, 재질, 조명)를 분리하기 위해 데이터 기반 엔티티-컴포넌트 시스템(ECS) 아키텍처를 사용하여 유연하고 확장 가능한 절차적 장면 생성을 지원한다.
• 런타임에서 장면의 생성 및 수정이 가능한 포괄적인 Python API를 제공하여, 도메인 랜덤화를 위한 객체 위치, 재질, 조명의 동적 랜덤화가 가능하다.
• 2D/3D 바운딩 박스, 세그멘테이션 마스크, 깊이 맵, 노멀 맵, 알베도, 광학 유사성 벡터 등 다양한 메타데이터 유형의 내보내기를 지원한다.
• 이미지 품질을 유지하면서도 렌더링 속도를 가속화하기 위해 NVIDIA의 AI 디노이저를 통합하여, 복잡한 장면에서도 인터랙티브 프레임 레이트를 달성한다.
• pip를 통해 배포되어 소비자용 GPU에서 조건부로도 인터랙티브 프레임 레이트를 달성할 수 있도록 하며, 사전 컴파일된 바이너리로 Linux 및 Windows에서의 설치 용이성과 크로스 플랫폼 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 완전한 Python 제어 기능을 갖춘 스크립터블하고 경로 추적 기반 렌더러가 컴퓨터 비전 작업을 위한 합성 데이터의 현실성과 일반화 성능을 향상시킬 수 있는가?
• RQ2 물리 기반 재질(예: 유리, 금속)의 렌더링이 시뮬레이션에서 실제 세계로의 전이 성능에 객체 검출 및 자세 추정 네트워크에 어떤 영향을 미치는가?
• RQ3 경로 추적을 통해 생성된 광학 유사성 및 깊이 맵과 같은 메타데이터가 비전 모델 훈련에 얼마나 기여하는가?
• RQ4 래스터 기반 게임 엔진 및 임bedded Blender 솔루션 대비 GPU 가속 및 Python 기반 레이 트레이서의 성능 및 사용성은 어떻게 비교되는가?
• RQ5 경량이며 pip 설치가 가능한 오픈소스 레이 트레이서가 고도화된 카메라 및 조명 효과를 갖춘 복잡하고 랜덤화된 3D 시뮬레이션을 효과적으로 지원할 수 있는가?

주요 결과

• NViSII는 OptiX와 AI 디노이징을 통해 소비자용 GPU에서도 하드웨어 가속 경로 추적을 활용하여 사진과 같은 실사적 이미지를 생성하고, 인터랙티브 프레임 레이트를 달성한다.
• 장면 요소에 대한 완전한 프로그래밍 제어가 가능하며, 객체 위치, 재질, 조명의 동적 랜덤화를 통해 효과적인 도메인 랜덤화를 구현할 수 있다.
• NViSII가 생성한 데이터로 훈련한 DOPE 자세 추정기의 성능이 실제 이미지에서 향상되었으며, 특히 반사성 재질을 가진 물체에 대해 시뮬레이션에서 실제 세계로의 전이 성능이 향상됨을 입증했다.
• 합성 데이터에 물리 기반 재질(예: 비도전체, 금속)을 포함시킴으로써 라운드만 재질 전용 데이터에 비해 자세 추정기의 정확도가 향상됨을 확인했다.
• 깊이, 표면 노멀, 세그멘테이션 마스크, 광학 유사성 등의 메타데이터가 정확하게 생성되어 2D 객체 검출기 훈련에 사용되었으며, 실제 이미지로의 일반화 성능이 뛰어났다.
• 렌더링 품질과 고급 카메라 효과(예: 모션 블러, 초점 깊이) 지원 측면에서 NViSII는 래스터 기반 도구들을 능가하며, 현실적인 시뮬레이션에서 실제 세계로의 전이에 필수적인 요소를 제공한다.