[논문 리뷰] A system for generating complex physically accurate sensor images for automotive applications

Zhenyi Liu, Minghao Shen외 5명|arXiv (Cornell University)|2019. 02. 12.

Image Enhancement Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 정량적 컴퓨터 그래픽스와 이미지 시스템 모델링을 융합하여 자동차 응용 분야의 물리적으로 정확한 센서 이미지를 생성하는 오픈소스 시뮬레이션 시스템을 제시한다. 사용자 정의 가능한 파rameter를 통해 도시 환경의 엔드 투 엔드 시뮬레이션을 가능하게 하며, 객체 검출 및 분류와 같은 작업에서 신경망 훈련 및 평가를 위한 픽셀 레벨 애너테이션을 갖춘 고정밀도의 합성 이미지를 생성한다. 실제 센서 행동과의 유사도가 매우 높다.

ABSTRACT

We describe an open-source simulator that creates sensor irradiance and sensor images of typical automotive scenes in urban settings. The purpose of the system is to support camera design and testing for automotive applications. The user can specify scene parameters (e.g., scene type, road type, traffic density, time of day) to assemble a large number of random scenes from graphics assets stored in a database. The sensor irradiance is generated using quantitative computer graphics methods, and the sensor images are created using image systems sensor simulation. The synthetic sensor images have pixel level annotations; hence, they can be used to train and evaluate neural networks for imaging tasks, such as object detection and classification. The end-to-end simulation system supports quantitative assessment, from scene to camera to network accuracy, for automotive applications.

연구 동기 및 목표

• 자동차 카메라 설계 및 테스트를 위한 복잡하고 물리적으로 정확한 센서 이미지를 생성하는 시스템을 개발하는 것.
• 시간대, 교통 밀도, 도로 유형 등의 구성 가능한 파rameter를 통해 도시 환경의 대규모이고 랜덤화된 시뮬레이션을 가능하게 하는 것.
• 장면 생성에서 센서 이미지 출력, 신경망 성능에 이르기까지 종단 간 정량적 평가를 지원하는 것.
• 자율주행 시각 작업에서의 딥러닝 모델 훈련 및 평가를 위해 합성 이미지에 픽셀 수준의 애너테이션을 제공하는 것.
• 합성 시뮬레이션과 실제 자율주행 차량 개발에서의 센서 성능 간 격차를 메우는 것.

제안 방법

• 시스템은 사용자가 정의한 파rameter(장면 유형, 도로 유형, 시간대 등)에 따라 다양한 도시 환경를 구성하기 위해 그래픽 자산 데이터베이스를 사용한다.
• 빛의 전달 및 물질 성질을 정확히 모델링하는 정량적 컴퓨터 그래픽스 기법을 사용하여 센서 조명 강도를 계산한다.
• 렌즈 블러, 노이즈, 반응 함수 등의 광학 효과를 포함하여 이미지 시스템 시뮬레이션을 통해 센서 이미지를 생성한다.
• 장면 조명에서 최종 픽셀 출력에 이르기까지 영상 체인의 완전한 물리 모델링을 지원하는 파이프라인이다.
• 픽셀 수준의 애너테이션이 합성 이미지에 통합되어 있어 감독 학습 작업에 직접 활용할 수 있다.
• 확장성과 재현 가능성을 고려하여 설계되었으며, 시뮬레이션과 실제 데이터 간 정량적 검증을 지원한다.

실험 결과

연구 질문

• RQ1 물리적으로 정확한 시뮬레이션 시스템은 어떻게 실제 자동차 카메라 출력과 유사한 센서 이미지를 생성할 수 있는가?
• RQ2 픽셀 수준의 애너테이션을 갖춘 합성 센서 이미지는 자율주행 차량의 객체 검출을 위한 신경망 훈련 및 평가에 어느 정도 향상 효과를 줄 수 있는가?
• RQ3 구성 가능한 시뮬레이션 프레임워크는 조명, 교통, 환경 조건의 변화를 통제하면서 다양한 현실적인 도시 환경를 생성할 수 있는가?
• RQ4 물리적 광학과 이미지 시스템 모델링의 통합은 합성 센서 이미지의 정밀도에 어떤 영향을 미치는가?
• RQ5 종단 간 시뮬레이션은 자동차 시각 작업에서 신경망 추론 정확도에 어떤 영향을 미치는가?

주요 결과

• 시스템은 다양한 조명 및 환경 조건에서 실제 센서 행동과 높은 물리적 정확도를 유지하며 센서 이미지를 성공적으로 생성하였다.
• 합성 이미지에는 객체 검출 및 분류를 위한 딥러닝 모델 훈련 및 평가에 직접 활용할 수 있는 세밀한 픽셀 수준의 애너테이션이 포함되어 있다.
• 시뮬레이터는 시간대, 교통 밀도, 도로 유형 등의 구성 가능한 파rameter를 통해 다양한 도시 환경의 대규모 생성을 지원한다.
• 종단 간 시뮬레이션 파이프라인이 장면에서 센서까지 네트워크 성능에 이르기까지 정량적 평가를 가능하게 하여 실제 데이터와의 검증을 지원한다.
• 시스템은 오픈소스로 공개되어 자동차 시각 연구 분야에서 재현 가능성과 확장성을 증진시킨다.
• 이 방법은 자율주행 차량 개발에서 실제 데이터 수집에 대한 의존도를 줄일 잠재력을 보였다.