[논문 리뷰] BlenderProc

Maximilian Denninger, Martin Sundermeyer외 6명|arXiv (Cornell University)|2019. 10. 25.

Advanced Neural Network Applications인용 수 25

한 줄 요약

BlenderProc는 블렌더와 그 파이썬 API를 기반으로 한 모듈식이고 오픈소스의 프로시저얼 파이프라인으로, 딥러닝을 위한 사진처럼 생긴 합성 훈련 데이터를 생성한다. Cycles를 통한 물리 기반 렲영(PBR)을 활용하여 정확한 세그멘테이션 마스크, 깊이, 노멀, 인스턴스 수준의 주석을 포함한 고해상도 렌더링을 가능하게 하며, 시나리오 설정, 샘플링, 렌더링를 위한 구성 가능하고 조합 가능한 모듈을 지원하여 단일 GPU에서 시간당 약 3,000장의 이미지를 생성한다.

ABSTRACT

BlenderProc is a modular procedural pipeline, which helps in generating real looking images for the training of convolutional neural networks. These can be used in a variety of use cases including segmentation, depth, normal and pose estimation and many others. A key feature of our extension of blender is the simple to use modular pipeline, which was designed to be easily extendable. By offering standard modules, which cover a variety of scenarios, we provide a starting point on which new modules can be created.

연구 동기 및 목표

• 컴퓨터 비전 작업에서 실제 이미지의 수동 주석 처리에 소요되는 높은 비용과 시간 문제를 해결하기 위해.
• 현실적인 조명, 조명 효과, 물체 간 상호작용을 유지하는 사진처럼 생긴 합성 훈련 데이터를 생성하기 위해.
• 연구자들이 다양한 레이블이 부여된 데이터셋을 쉽게 생성할 수 있도록 모듈식이고 확장 가능하며 사용하기 쉬운 파이프라인을 제공하기 위해.
• 정확한 지표 주석을 갖춘 인스턴스 세그멘테이션, 깊이 추정, 6D 자세 추정과 같은 다양한 컴퓨터 비전 작업을 지원하기 위해.
• OpenGL 기반 렌더링에 대한 의존도를 줄이기 위해 Cycles를 통한 PBR를 통해 더 현실적인 데이터를 생성할 수 있도록 하기 위해.

제안 방법

• 파이프라인은 블렌더의 파이썬 API를 사용하여 객체 배치, 조명, 카메라 설정 등을 프로그래밍 방식으로 제어한다.
• 모듈식 아키텍처를 통해 YAML 설정 파일을 이용해 파이프라인을 조합할 수 있으며, 시나리오 로딩, 카메라 샘플링, 렌더링 등의 모듈을 지정할 수 있다.
• 표준 모듈로는 카메라 자세, 조명 소스, 객체 배치를 위한 샘플러가 포함되어 있으며, 물리적 타당성을 확보하기 위해 근접도 체크 기능이 포함되어 있다.
• 렌더링 모듈은 색상, 깊이, 노멀, 세그멘테이션 이미지를 생성하며, 출력은 압축된 HDF5 파일에 저장된다.
• 블렌더의 통합 Cycles 엔진을 사용한 PBR을 통해 사진처럼 생긴 렌더링을 구현하여 현실적인 재질 및 조명 상호작용을 보장한다.
• 파이프라인은 객체에 카테고리 ID와 인스턴스 ID를 할당함으로써 세그멘테이션과 인스턴스 세그멘테이션을 모두 지원하며, 메타데이터는 HDF5 출력에 저장된다.

실험 결과

연구 질문

• RQ1 모듈식이고 오픈소스인 파이프라인이 딥러닝을 위한 정확한 다중 작업 주석이 부여된 사진처럼 생긴 합성 이미지를 생성할 수 있는가?
• RQ2 블렌더에서 PBR 기반 렌더링이 기존의 OpenGL 래스터라이제이션에 비해 합성 데이터 생성에서 얼마나 더 현실감 있는 결과를 내는가?
• RQ3 구성 가능한, 조합 가능한 모듈이 컴퓨터 비전을 위한 다양한 현실적인 훈련 데이터셋 제작을 얼마나 효과적으로 단순화하는가?
• RQ4 샘플링 과정에서 근접도 체크 및 물리적 제약 조건을 통합함으로써 시나리오의 현실감과 데이터 품질은 얼마나 향상되는가?
• RQ5 합성 데이터를 위한 배치 처리 파이프라인에서 렌더링 품질과 생성 속도 사이의 상충 관계는 어떠한가?

주요 결과

• BlenderProc는 블렌더의 Cycles 엔진을 통한 물리 기반 렌더링(PBR)을 활용하여 고품질의 사진처럼 생긴 합성 이미지를 생성하며, OpenGL 기반 방법에 비해 현저히 높은 현실감을 확보한다.
• 파이프라인은 단일 GPU에서 시간당 약 3,000장의 이미지를 생성하여, 오프라인 배치 처리 방식을 감안할 때 충분히 수용 가능한 속도를 달성한다.
• 정확한 세그멘테이션 마스크, 깊이 맵, 노멀 맵이 안정적으로 생성되어 각 시나리오당 하나의 압축된 HDF5 파일에 저장된다.
• 모듈식 설계 덕분에 물리 시뮬레이션, 객체 교체, 고급 샘플러 등의 새로운 모듈을 간편한 설정을 통해 손쉽게 통합할 수 있다.
• 샘플러 내의 근접도 체크 기능은 물리적으로 타당한 카메라 및 객체 배치를 보장하여 수동 조작 없이도 시나리오의 현실감을 향상시킨다.
• 시스템은 객체에 클래스 ID와 인스턴스 ID를 할당하고 저장함으로써 세그멘테이션과 인스턴스 세그멘테이션을 모두 지원하며, 현대 딥러닝 벤치마크에서 직접 사용할 수 있다.