[논문 리뷰] OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets

Zhengqin Li, Ting-Wei Yu외 15명|arXiv (Cornell University)|2020. 07. 25.

Advanced Vision and Imaging참고 문헌 53인용 수 13

한 줄 요약

OpenRooms는 소비자용 RGBD 스캔과 고성능 GPU 렌더러를 활용하여 기하학, 공간적으로 변화하는 BRDF, 조명(직접/간접 조명, 가림, 각 조명 기여도 포함), 의미 정보 등 고정밀 지상 진실을 갖춘 대규모 실사적 실내 환경 데이터셋을 생성하기 위한 개방형 엔드 투 엔드 프레임워크를 소개한다. 이 프레임워크는 딥 네트워크의 역 렌더링, 의미 분할, 로봇 시뮬레이션을 위한 실제-시뮬레이션 대응성을 실현하며, 실사 이미지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel framework for creating large-scale photorealistic datasets of indoor scenes, with ground truth geometry, material, lighting and semantics. Our goal is to make the dataset creation process widely accessible, transforming scans into photorealistic datasets with high-quality ground truth for appearance, layout, semantic labels, high quality spatially-varying BRDF and complex lighting, including direct, indirect and visibility components. This enables important applications in inverse rendering, scene understanding and robotics. We show that deep networks trained on the proposed dataset achieve competitive performance for shape, material and lighting estimation on real images, enabling photorealistic augmented reality applications, such as object insertion and material editing. We also show our semantic labels may be used for segmentation and multi-task learning. Finally, we demonstrate that our framework may also be integrated with physics engines, to create virtual robotics environments with unique ground truth such as friction coefficients and correspondence to real scenes. The dataset and all the tools to create such datasets will be made publicly available.

연구 동기 및 목표

• 외관, 기하학, 조명, 재료에 대한 포괄적인 지상 진실을 갖춘 대규모 실사적 실내 환경 데이터셋의 부족을 해결하기 위해.
• 소비자용 3D 센서와 오픈소스 도구를 사용하여 고품질 데이터셋 생성을 연구자들이 접근 가능하게 하기 위해.
• 로봇 기술과 증강현실에서 정확한 역 렌더링, 의미 분할, 시뮬레이션에서 실제로의 전이를 가능하게 하기 위해.
• 상호 반사, 부드러운 그림자, 가림을 고려한 조명과 같은 복잡한 광선 전달 효과를 지원하기 위해.
• 향상된 현실감과 후속 작업 성능을 위해 물리적으로 정확한 공간적으로 변화하는 BRDF 및 조명 표현 방식을 합성 데이터셋에 통합하기 위해.

제안 방법

• 소비자용 센서에서 확보한 RGBD 스캔을 기반으로 정렬 기법을 사용해 일관된 실내 및 가구 레이아웃을 재구성한다.
• 알베도, 노멀, 거칠기 등을 입력으로 사용하는 마이크로피어스 기반 모델을 활용해 픽셀 단위의 공간적으로 변화하는 BRDF를 할당한다.
• 환경 맵, 영역 조명, 창문 평면 등을 포함한 물리 기반 표현 방식을 사용해 조명을 모델링하며, 레이 트레이싱을 통해 가림 및 가림 처리를 수행한다.
• 다양한 중요도 샘플링을 활용해 작은 조명 소스와 복잡한 조명 조건을 효율적으로 처리할 수 있도록 커스터마이즈된 OptiX 기반 GPU 렌더러를 사용해 실사적 이미지를 계산한다.
• 렌더링 중 개별 조명 소스를 분리하여 각 조명의 직접, 간접, 가림된 구성 요소를 포함한 조명 기여도 지상 진실을 제공한다.
• PyBullet과 같은 물리 엔진과 통합되어 SVBRDF를 마찰 계수로 매핑함으로써 정확한 물리적 특성을 갖춘 로봇 시뮬레이션 환경을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 확장 가능하고 개방된 프레임워크가 저비용 RGBD 스캔에서 기하학, 재료, 조명에 대한 완전한 지상 진실을 갖춘 실사적 실내 환경을 생성할 수 있는가?
• RQ2 OpenRooms에서 훈련된 딥 네트워크가 실사 이미지에서 형태, 재질, 조명 추정과 같은 역 렌더링 작업에 대해 얼마나 잘 일반화되는가?
• RQ3 OpenRooms의 의미 및 물리적 애너테이션은 다중 작업 학습 및 의미 분할 성능 향상에 어느 정도 기여하는가?
• RQ4 이 데이터셋은 물체 삽입 및 재질 편집 등 고도의 실사적 정확도가 요구되는 증강현실 응용을 지원할 수 있는가?
• RQ5 OpenRooms 자원이 지상 진실 마찰 계수와 조명 정보를 갖춘 물리 기반 로봇 시뮬레이터에 통합되었을 때, 시뮬레이션에서 실제로의 전이 성능은 어느 정도인가?

주요 결과

• OpenRooms 데이터셋은 깊이, 노멀, SVBRDF, 조명, 가림, 의미 정보 등 픽셀 단위의 지상 진실을 갖춘 10만 개 이상의 HDR 이미지를 포함한다.
• OpenRooms에서 훈련된 딥 네트워크는 실사 이미지에서 형태, 재질, 조명 추정 작업에서 경쟁적인 성능을 달성하여 실사적 증강현실 응용을 가능하게 한다.
• 조명 기여도 지상 진실을 통한 supervision을 지원함으로써 향후 조명 편집 및 복잡한 조명 조작 응용이 가능해진다.
• OpenRooms의 의미 레이블은 의미 분할 및 다중 작업 학습에서 뛰어난 성능을 발휘하며, 다양한 작업 간 일반화 능력을 향상시킨다.
• PyBullet와의 통합을 통해 SVBRDF에서 유도된 마찰 계수를 포함한 정확한 물리적 특성을 갖춘 가상 로봇 환경을 생성할 수 있다.
• 오픈소스 도구를 통해 커뮤니티 기반의 데이터셋 확장이 가능하여, 최초 출시 이후의 다양한 재질과 기하학적 형태를 지원할 수 있다.