[논문 리뷰] Recovering and Simulating Pedestrians in the Wild

Ze Yang, Siva Manivasagam외 4명|arXiv (Cornell University)|2020. 11. 16.

Human Pose and Action Recognition참고 문헌 39인용 수 6

한 줄 요약

이 논문은 실세계 LiDAR 및 카메라 시퀀스에서 지상 진술 3D 스캔이나 자세 애너테이션 없이도 3D 보행자 형태와 운동을 복원하는 LiME라는 방법을 제안한다. 형태 사전, 재투영 일致성, LiDAR 레이 캐스팅을 활용한 에너지 최소화와 딥 러닝을 융합함으로써, 실감 나는 보행자 자산을 LiDAR 시뮬레이션에 제공하여 실제 애너테이션 데이터의 필요성을 줄이고, 데이터 증강을 통한 보행자 검출 성능을 최대 3 AP 포인트 향상시킨다.

ABSTRACT

Sensor simulation is a key component for testing the performance of self-driving vehicles and for data augmentation to better train perception systems. Typical approaches rely on artists to create both 3D assets and their animations to generate a new scenario. This, however, does not scale. In contrast, we propose to recover the shape and motion of pedestrians from sensor readings captured in the wild by a self-driving car driving around. Towards this goal, we formulate the problem as energy minimization in a deep structured model that exploits human shape priors, reprojection consistency with 2D poses extracted from images, and a ray-caster that encourages the reconstructed mesh to agree with the LiDAR readings. Importantly, we do not require any ground-truth 3D scans or 3D pose annotations. We then incorporate the reconstructed pedestrian assets bank in a realistic LiDAR simulation system by performing motion retargeting, and show that the simulated LiDAR data can be used to significantly reduce the amount of annotated real-world data required for visual perception tasks.

연구 동기 및 목표

• 자율주행차 인식 훈련 및 테스트를 위한 확장 가능하고 실감 나는 보행자 시뮬레이션의 부족을 해결하기 위해.
• 지상 진술 3D 스캔이나 자세 애너테이션 없이도 비정형 실세계 센서 데이터(LiDAR 및 카메라)에서 정확한 3D 보행자 형태와 운동을 복원하기 위해.
• 도메인 갭을 줄이고 데이터 애너테이션 비용을 낮추기 위해 LiDAR 시뮬레이션 시스템에서 사용할 수 있는 다양한 시뮬레이션 보행자 자산을 생성하기 위해.
• 인식 모델을 테스트하여 시뮬레이션된 LiDAR 데이터의 실감나는 정도를 평가하고, 데이터 증강을 통한 성능 향상을 입증하기 위해.

제안 방법

• 형태 사전, 2D 키포인트 재투영, LiDAR 레이 캐스팅 일치성을 융합한 딥 스타크처드 모델에서 에너지 최소화 문제로 보행자 재구성을 공식화한다.
• 다양한 실세계 보행자 기하학을 재구성하는 데 도움이 되도록 단일 저비용 예술가 제작 메시를 형태 사전으로 사용한다.
• 카메라 이미지에서의 다중 시점 2D 자세 추정을 활용하고 재투영 일치성을 강제 적용하여 3D 자세 정확도를 향상시킨다.
• 재구성된 3D 메시가 관측된 LiDAR 포인트 클라우드와 일치하도록 레이 캐스터를 적용하여 기하학적 정확도를 향상시킨다.
• 재구성된 보행자에 대해 운동 리타겟팅을 수행하여 시뮬레이션된 도시 환경에서 새로운 다양성 있는 행동과 배치를 생성한다.
• 재구성된 자산을 LiDARsim 시뮬레이션 시스템에 통합하여 최소한의 sim2real 도메인 갭을 가진 실감 나는 LiDAR 포인트 클라우드를 생성한다.

실험 결과

연구 질문

• RQ1 지상 진술 3D 애너테이션 없이도 비정형 실세계 LiDAR 및 카메라 시퀀스에서 3D 보행자 형태와 운동을 정확히 복원할 수 있는가?
• RQ2 학습된 형태 사전과 다중 모odal 센서 일치성이 시뮬레이션을 위한 실감 나는 보행자 메시를 얼마나 잘 생성할 수 있는가?
• RQ3 복원된 보행자에서 유도된 시뮬레이션된 LiDAR 데이터는 인식 시스템에서 sim2real 도메인 갭을 어느 정도 줄이는가?
• RQ4 제한된 실제 데이터가 있는 조건에서 시뮬레이션된 LiDAR 데이터를 데이터 증강에 사용했을 때 보행자 검출 성능을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 LiME 방법은 정량적 결과에서 원본 LiDAR 시퀀스와의 최소한의 편차로 높은 기하학적 정확도를 달성한다.
• 재구성된 보행자를 사용해 생성된 시뮬레이션된 LiDAR 데이터는 도메인 갭이 매우 작으며, 실재 데이터로 훈련된 검출기에서 평가 시 IoU 0.5 기준 약 0.7 AP 포인트 감소만을 보였다.
• 10만 개의 시뮬레이션된 LiDAR 예제를 사용한 데이터 증강은 실재 데이터만 사용하는 것보다 보행자 검출 AP를 최대 3 포인트 향상시켰으며, 실재 데이터가 제한된 경우 성능 향상이 가장 두드러졌다.
• 동일한 시점 레이아웃과 궤적을 가진 10만 개의 실재 및 10만 개의 시뮬레이션 예제를 조합했을 때도 1.7 AP 포인트 향상이 발생하여 다양한 시뮬레이션 시퀀스의 가치를 입증했다.
• 이 방법은 음영, 그룹 상호작용, 스마트폰을 보는 등의 안전 기준 위반 행동을 포함한 다양한 보행자 행동을 성공적으로 생성하여 인식 시스템의 강건한 테스트를 가능하게 했다.