[논문 리뷰] PerMO: Perceiving More at Once from a Single Image for Autonomous Driving

Feixiang Lu, Zongdai Liu외 9명|arXiv (Cornell University)|2020. 07. 16.

Advanced Neural Network Applications참고 문헌 61인용 수 4

한 줄 요약

PerMO는 부분 기반의 변형 가능 모델과 밀도 높은 2D/3D 대응 예측을 결합하여 단일 이미지에서 고정밀 3D 차량 인식을 가능하게 하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 상용 GPU에서 거의 인터랙티브 수준의 추론 속도를 기록하며 2D 인스턴스 세그멘테이션(+4.4 mAP), 6-DoF 자세 추정(+9.11점), 3D 검출(+1.37 mAP)에서 최신 기술 수준을 초월하는 성능을 달성했고, 공개된 데이터셋과 코드베이스를 제공한다.

ABSTRACT

We present a novel approach to detect, segment, and reconstruct complete textured 3D models of vehicles from a single image for autonomous driving. Our approach combines the strengths of deep learning and the elegance of traditional techniques from part-based deformable model representation to produce high-quality 3D models in the presence of severe occlusions. We present a new part-based deformable vehicle model that is used for instance segmentation and automatically generate a dataset that contains dense correspondences between 2D images and 3D models. We also present a novel end-to-end deep neural network to predict dense 2D/3D mapping and highlight its benefits. Based on the dense mapping, we are able to compute precise 6-DoF poses and 3D reconstruction results at almost interactive rates on a commodity GPU. We have integrated these algorithms with an autonomous driving system. In practice, our method outperforms the state-of-the-art methods for all major vehicle parsing tasks: 2D instance segmentation by 4.4 points (mAP), 6-DoF pose estimation by 9.11 points, and 3D detection by 1.37. Moreover, we have released all of the source code, dataset, and the trained model on Github.

연구 동기 및 목표

• 자율주행 환경에서 심한 가림을 겪는 상황에서도 단일 이미지만을 사용하여 강건한 3D 차량 인식을 해결하기 위해.
• 부분 기반의 변형 가능 차량 모델을 개발하여 부분적인 가림에 대한 강건성을 향상시키고 정밀한 3D 재구성을 가능하게 하기 위해.
• 학습 및 벤치마킹을 위한 대규모 밀도 높은 2D/3D 대응 데이터셋을 생성하기 위해.
• 인스턴스 세그멘테이션, 6-DoF 자세 추정, 텍스처가 있는 3D 재구성을 위한 엔드 투 엔드 예측을 거의 인터랙티브 속도로 가능하게 하기 위해.
• 실제 구현 및 데이터 기반 시뮬레이션을 위해 자율주행 시스템과 시뮬레이터에 방법을 통합하기 위해.

제안 방법

• 이 방법은 차량을 의미론적 부분(예: 차체, 타이어 등)으로 분해함으로써 가림에 대한 강건성을 향상시키는 새로운 부분 기반 변형 가능 차량 모델을 도입한다.
• 밀도 높은 2D/3D 대응 예측을 두 단계로 설정한다: 먼저 부분 수준의 영역을 식별하고, 그 다음 각 부분 내에서 픽셀 단위의 대응을 예측한다.
• 기하학적 사전 지식과 대칭성을 활용하여 정확한 재구성을 위한 기반을 제공하는 딥 네트워크를 엔드 투 엔드로 훈련시켜 밀도 높은 2D에서 3D로의 매핑을 예측한다.
• 양방향 변형 전략을 사용한다: 차체 부분에는 ARAP, 타이어에는 ICP를 적용하여 템플릿 CAD 모델을 실제 차량에 정렬함으로써 일반화된 PCA 기반의 형태 모델을 구현한다.
• 예측된 대응을 기반으로 3D 재구성을 수행한 후 텍스처 매핑 및 모델 정밀화를 통해 정량적으로 정확하고 텍스처가 있는 3D 모델을 생성한다.
• 실시간 추론을 최적화하여 상용 GPU에서 거의 인터랙티브 수준의 성능을 달성하였으며, 추론 시간은 감지된 차량 수에 비례하여 선형적으로 증가한다.

실험 결과

연구 질문

• RQ1 부분 기반의 변형 가능 모델이 단일 이미지 환경에서 심한 가림 상황에서도 3D 차량 인식의 강건성을 향상시킬 수 있는가?
• RQ2 엔드 투 엔드 딥 러닝이 단일 이미지에서 정확한 3D 재구성을 위해 밀도 높은 2D/3D 대응을 효과적으로 예측할 수 있는가?
• RQ3 제안된 방법이 2D 인스턴스 세그멘테이션, 6-DoF 자세 추정, 3D 검출에서 최신 기술 수준의 접근 방식을 얼마나 뛰어넘는가?
• RQ4 대규모 밀도 높은 2D/3D 대응 데이터셋이 자율주행 환경에서 3D 인식 모델의 성능 향상에 얼마나 기여하는가?
• RQ5 이 방법은 실생활 자율주행 시스템과 시뮬레이터에서 얼마나 확장 가능하고 효율적인가?

주요 결과

• PerMO는 2D 인스턴스 세그멘테이션에서 최신 기술 수준의 방법보다 mAP가 4.4점 향상되어 인스턴스 수준의 인식 및 정위치 파악 능력이 뛰어나다는 것을 입증한다.
• A3DP-Abs 지표에서 6-DoF 자세 추정 성능이 9.11점 향상되어 복잡한 가림 상황에서도 훨씬 정확한 3D 객체 자세 추정이 가능하다는 것을 나타낸다.
• 3D 차량 검출에서 mAP가 1.37점 향상되어 단일 이미지에서 3D 경계 상자 예측 정확도가 향상됨을 보여준다.
• 프레임워크는 상용 GPU에서 거의 인터랙티브 수준의 추론 성능을 제공하며, 추론 시간은 시 cảnh 내 차량 수에 비례하여 선형적으로 증가한다.
• 밀도 높은 2D/3D 대응과 부분 수준의 주석 정보를 포함한 제안된 데이터셋은 공개되었으며, 이미 자율주행 시뮬레이션 및 행동 추론에 활용되고 있다.
• PerMO가 자율주행 시스템과 시뮬레이터에 통합된 것은 실생활 주행 환경에서의 실용성과 강건성을 입증한다.