[논문 리뷰] Procedural Modeling and Physically Based Rendering for Synthetic Data Generation in Automotive Applications

Apostolia Tsirikoglou, Joel Kronander외 2명|arXiv (Cornell University)|2017. 10. 17.

Computer Graphics and Visualization Techniques참고 문헌 7인용 수 38

한 줄 요약

이 논문은 자율주행 응용 분야를 위한 절차적이고 물리 기반의 합성 데이터 생성 파이프라인을 제시하며, 절차적 월드 모델링과 경로 추적 렌더링을 융합하여 매우 현실적인 픽셀 정밀도의 애너테이션된 이미지를 생성한다. 이 방법은 실세계 데이터에 대한 피니튜닝 없이도 기존의 SYNTHIA 및 Richter 등과 같은 데이터셋을 능가하는 최신 기술 수준의 세분화 성능을 달성한다.

ABSTRACT

We present an overview and evaluation of a new, systematic approach for generation of highly realistic, annotated synthetic data for training of deep neural networks in computer vision tasks. The main contribution is a procedural world modeling approach enabling high variability coupled with physically accurate image synthesis, and is a departure from the hand-modeled virtual worlds and approximate image synthesis methods used in real-time applications. The benefits of our approach include flexible, physically accurate and scalable image synthesis, implicit wide coverage of classes and features, and complete data introspection for annotations, which all contribute to quality and cost efficiency. To evaluate our approach and the efficacy of the resulting data, we use semantic segmentation for autonomous vehicles and robotic navigation as the main application, and we train multiple deep learning architectures using synthetic data with and without fine tuning on organic (i.e. real-world) data. The evaluation shows that our approach improves the neural network's performance and that even modest implementation efforts produce state-of-the-art results.

연구 동기 및 목표

• 자율주행을 위한 딥 네URAL 네트워크 학습에서의 데이터 부족과 도메인 이탈 문제를 해결하기 위해.
• 손으로 모델링한 게임 엔진 기반 데이터셋보다 시각적 사실성과 애너테이션 품질에서 뛰어난 확장 가능한 현실적인 합성 데이터 생성 파이프라인을 개발하기 위해.
• 높은 현실성과 절차적 다양성이 포함된 합성 데이터만으로도 최신 기술 수준의 세분화 성능를 달성할 수 있는지 평가하기 위해.
• 물리적으로 정확한 렌더링과 완전한 애너테이션 내부 분석 기능을 갖춘 합성 데이터가 실세계 데이터 피니튜닝의 필요성을 제거하거나 감소시킬 수 있는지 보여주기 위해.
• 절차적 변형과 물리적 현실성이 모델의 일반화 능력과 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 시스템은 절차적 월드 생성을 사용하여 각 이미지마다 고유한 3차원 장면를 자동으로 합성하며, 기하학적 구조, 재질, 조명, 객체 배치를 매개변수화된 공간에서 다양하게 조정한다.
• 몬테카를로 빛 전송 시뮬레이션을 사용한 경로 추적을 통해 물리적으로 정확한 이미지 합성을 구현하며, 운동 흐림, 안티앨리어싱 등의 효과를 포함한다.
• 재질과 표면 특성은 물리 기반 표현 방식을 사용하여 현실적인 빛 상호작용과 색상 반응을 보장한다.
• 카메라 렌즈 효과, 심도 범위 등 센서 모델링을 통합하여 실제 카메라 동작을 시뮬레이션하고, 사진 수준의 현실감 있는 이미지를 생성한다.
• 각 생성된 이미지는 픽셀 단위의 참값 애너테이션(세분화 및 인스턴스 세분화)을 함께 제공하여 완전한 내부 분석과 데이터 품질 제어를 가능하게 한다.
• 전체 과정은 클라우드 기반 컴퓨팅을 통해 확장 가능하여 수십만~수백만 개의 다양한 애너테이션된 이미지를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 절차적 월드 모델링과 경로 추적을 통해 생성된 합성 데이터셋이 실세계 데이터 피니튜닝 없이도 최신 기술 수준의 세분화 성능를 달성할 수 있는가?
• RQ2 빛 전송 시뮬레이션과 재질 모델링의 현실성이 딥 네URAL 네트워크의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 고정 월드 기반 게임 엔진 데이터셋에 비해 절차적 다양성이 장면 생성에서 도메인 이탈을 얼마나 줄이는가?
• RQ4 학습에 사용할 때 실세계 데이터셋과 비교해 볼 때 합성 데이터의 품질은 어떻게 평가되는가?
• RQ5 고정밀 렌더링의 계산 비용과 모델 추론 정확도 향상 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 합성 데이터셋은 실세계 데이터 피니튜닝 없이도 기존의 SYNTHIA 및 Richter 등과 같은 데이터셋을 능가하는 최신 기술 수준의 세분화 성능를 달성한다.
• DFCN 프론트엔드 아키텍처에서 16개 클래스 중 10개 클래스에서 40% 이상의 IoU 성능를 기록했으며, 도로, 보도, 건물, 보행자 세분화에서 뚜렷한 향상이 있었다.
• FRRN-A 아키텍처에서는 16개 클래스 중 7개 클래스에서 최소 40% 이상의 IoU 성능를 기록했으며, 하늘, 사람, 차량 세분화에서 두드러진 성과를 보였고, SYNTHIA 및 Richter 등 데이터셋은 10개 클래스에서 40% 미만의 IoU 성능를 기록했다.
• 벽이나 울타리의 훈련 예제가 전혀 없음에도 불구하고, 제안된 합성 데이터로 훈련된 모델이 이들 클래스로 잘 일반화되는 것으로 나타나, 현실적인 외관과 조명에서의 강력한 일반화 능력을 보였다.
• 실세계 Cityscapes 데이터로의 피니튜닝은 성능을 추가로 향상시켰지만, 합성 데이터만으로도 기존의 합성 기반 베이스라인을 능가했으며, 현실성과 절차적 다양성의 가치를 입증했다.
• 저자들은 Richter 등과 비교해 자신의 데이터셋 제작 노력이 3~4개 정도의 주요 단위 감소했음을 추정했으며, 이는 그들의 접근 방식의 효율성을 강조한다.