[논문 리뷰] CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation

Jingkang Wang, Sivabalan Manivasagam외 6명|arXiv (Cornell University)|2023. 11. 02.

Autonomous Vehicle Technology and Safety인용 수 7

한 줄 요약

CADSim은 부분 인식 가능한 CAD 모델 사전 지식과 미분 가능 렲영을 활용하여 흐트러진, 노이즈가 많은 센서 데이터에서 실외 환경의 차량에 대해 강력하고 확장 가능한 3D 재구성 방법을 제안한다. 이는 고해상도, 관절형, 사진처럼 사실적인 메시를 생성하며, 뛰어난 형태 정확도와 실시간 렲영 능력을 달성하여 자율주행 차량 개발을 위한 현실적이고 제어 가능한 센서 시뮬레이션을 가능하게 한다.

ABSTRACT

Realistic simulation is key to enabling safe and scalable development of % self-driving vehicles. A core component is simulating the sensors so that the entire autonomy system can be tested in simulation. Sensor simulation involves modeling traffic participants, such as vehicles, with high quality appearance and articulated geometry, and rendering them in real time. The self-driving industry has typically employed artists to build these assets. However, this is expensive, slow, and may not reflect reality. Instead, reconstructing assets automatically from sensor data collected in the wild would provide a better path to generating a diverse and large set with good real-world coverage. Nevertheless, current reconstruction approaches struggle on in-the-wild sensor data, due to its sparsity and noise. To tackle these issues, we present CADSim, which combines part-aware object-class priors via a small set of CAD models with differentiable rendering to automatically reconstruct vehicle geometry, including articulated wheels, with high-quality appearance. Our experiments show our method recovers more accurate shapes from sparse data compared to existing approaches. Importantly, it also trains and renders efficiently. We demonstrate our reconstructed vehicles in several applications, including accurate testing of autonomy perception systems.

연구 동기 및 목표

• 자율주행 시뮬레이션에서 수동 3D 자산 생성의 한계를 해결하기 위해, 이는 비용이 많이 들고 느리며 확장성이 떨어지기 때문이다.
• 기존 재구성 방법이 흩어진, 노이즈가 많은 실외 센서 데이터에서 성능이 열 劣하여 과도하게 매끄럽거나 아티팩트로 뒤덮인 메시를 생성하는 문제를 해결하기 위해.
• 그래픽 엔진과 호환되는 정확하고 편집 가능하며 제어 가능한 3D 차량 자산을 생성하여 현실적인 다중 센서 시뮬레이션을 가능하게 하기 위해.
• 재구성된 차량의 효율적이고 실시간으로 렌더링하여 봉쇄된 루프 학습과 대규모 평가를 가능하게 하기 위해.
• 새로운 응용 분야인 텍스처 전이, 혼합 현실 삽입, 희귀하거나 안전에 중요한 시나리오의 시뮬레이션을 지원하기 위해.

제안 방법

• 차량의 클래스에 특화된 소량의 CAD 모델을 부분 인식 가능한 형태 사전 지식으로 활용하여 3D 재구성의 고품질 초기화를 제공한다.
• 에너지 최소화 프레임워크 내부에서 미분 가능 려영을 활용하여 다중 시야 카메라 및 라이다 관측치로부터 메시 기하학과 외관을 최적화한다.
• 그래픽 엔진과의 호환성을 확보하기 위해 메시 표현을 사용하여 실시간 렌더링, 뼈대 설정, 관절 부품(예: 바퀴)의 애니메이션을 가능하게 한다.
• 재구성 과정에서 카메라 이미지와 라이다 포인트 클라우드를 동시에 최적화하여 다중 센서 일관성을 확보한다.
• 다양한 차량 형태 간에 정점 기반 텍스처 전이를 적용하여 다양한 현실적인 재질 변형을 생성한다.
• 자세 조작, 바퀴 관절 조작, 그림자 렌더링을 가능하게 하여 제어 가능한 시뮬레이션을 지원한다.

실험 결과

연구 질문

• RQ1 부분 인식 가능한 CAD 모델 사전 지식은 흩어진, 노이즈가 많은 실외 센서 데이터에서 3D 재구성의 정확도와 강건성을 크게 향상시킬 수 있는가?
• RQ2 미분 가능 려영은 실시간 효율성을 유지하면서도 고해상도, 사진처럼 사실적인, 기하학에 맞는 메시 재구성을 가능하게 하는가?
• RQ3 관절 부품이 있는 재구성된 차량은 자율주행 시스템을 위한 현실적이고 제어 가능한 센서 시뮬레이션을 얼마나 잘 생성할 수 있는가?
• RQ4 CADSim은 형태, 외관, 관절 기능 측면에서 다양한 실제 차량에 대해 얼마나 잘 일반화되는가?
• RQ5 재구성된 자산은 높은 현실감으로 혼합 현실 삽입 및 텍스처 전이와 같은 새로운 시뮬레이션 응용 분야를 가능하게 하는가?

주요 결과

• CADSim은 카메라 및 라이다 데이터 양측에서 기존 재구성 방법보다 형태 정확도가 뛰어나며, 특히 관측이 희박한 조건에서 두각을 나타낸다.
• 기본 방법이 일반적인 메시 템플릿에 의존하는 것과는 달리, CADSim은 아티팩트와 자기 교차가 적은 메시를 생성한다.
• 재구성된 차량은 다양한 형태에서 정확한 외관, 조명, 텍스처 정렬을 보이며 고도로 사진처럼 사실적인 외관을 구현한다.
• 이 방법은 복잡하고 안전에 중요한 시나리오에 대해 다중 센서 데이터(Camara 및 LiDAR)의 실시간 렌더링과 효율적인 시뮬레이션을 가능하게 한다.
• 실제 차량 간에 고품질의 부분 대응을 기반으로 한 텍스처 전이가 구현되어 다양한 현실적인 자산 변형을 생성할 수 있다.
• CADSim 자산에서 생성된 시뮬레이션 센서 데이터는 실제 장면에 자연스럽게 융합되며, 현실적인 음영, 가림, 바퀴 회전과 같은 동적 행동을 구현한다.