[논문 리뷰] A General Pipeline for 3D Detection of Vehicles

Xinxin Du, Marcelo H. Ang외 2명|arXiv (Cornell University)|2018. 02. 12.

Advanced Neural Network Applications참고 문헌 33인용 수 23

한 줄 요약

이 논문은 2D 차량 검출 네트워크의 출력을 3D LiDAR 포인트 클라우드와 융합하여 정확한 3D 경계 상자 생성을 가능하게 하는 일반적인 파이프라인을 제안한다. 일반화된 자동차 모델과 점수 맵을 사용해 효율적인 3D 상자 피팅을 수행한 후, 개선을 위한 이중 단계 CNN을 적용함으로써, 존재하는 2D 네트워크에 최소한의 수정으로 KITTI에서 최고 성능을 기록하며 3D 검출 분야에서 두 번째로 높은 성능을 달성한다.

ABSTRACT

Autonomous driving requires 3D perception of vehicles and other objects in the in environment. Much of the current methods support 2D vehicle detection. This paper proposes a flexible pipeline to adopt any 2D detection network and fuse it with a 3D point cloud to generate 3D information with minimum changes of the 2D detection networks. To identify the 3D box, an effective model fitting algorithm is developed based on generalised car models and score maps. A two-stage convolutional neural network (CNN) is proposed to refine the detected 3D box. This pipeline is tested on the KITTI dataset using two different 2D detection networks. The 3D detection results based on these two networks are similar, demonstrating the flexibility of the proposed pipeline. The results rank second among the 3D detection algorithms, indicating its competencies in 3D detection.

연구 동기 및 목표

• 높은 성능을 보이는 2D 검출 네트워크와 자율주행에서 요구하는 3D 인식 간 격차를 메우기 위해.
• 기존 2D 검출 네트워크가 최소한의 아키텍처 변경으로 정확한 3D 경계 상자를 생성할 수 있도록 하기 위해.
• 2D 검출 출력과 3D LiDAR 포인트 클라우드를 융합하여 3D 차량 위치 및 치수 추정을 위한 강력하고 일반화 가능한 파이프라인 개발하기 위해.
• 일반화된 자동차 형태를 사용한 모델 피팅과 이중 단계 CNN을 통한 개선 과정을 통해 3D 검출 정확도 향상시키기 위해.

제안 방법

• 2D 검출 네트워크의 출력(2D 경계 상자)을 3D 공간으로 투영하여 해당 3D 포인트 클라우드 부분집합을 추출한다.
• 일반화된 자동차 모델과 점수 맵을 사용하는 모델 피팅 알고리즘을 통해 투영된 2D 상자 내부의 3D 차량 포인트를 식별하고, 3D 경계 상자 매개변수를 추정한다.
• 이중 단계 CNN을 적용해 3D 상자를 개선한다: 첫 번째 단계는 희소 3D 포인트 특징을 사용해 3D 상자를 재구성하고, 두 번째 단계는 객체 소속 점수를 재할당한다.
• 2D 네트워크에 차량 치수(길이, 너비, 높이)를 예측하는 단일 회귀 헤드를 추가함으로써, 최소한의 변경으로 3D 출력을 가능하게 한다.
• 2D CNN의 분류 능력과 LiDAR의 기하학적 정확도를 모두 활용하여 포인트 클라우드 변환 손실을 방지한다.
• 파이프라인은 엔드 투 엔드로 훈련되며, 두 가지 다른 2D 네트워크(PC-CNN 및 MS-CNN)를 사용해 KITTI 데이터셋에서 테스트된다.

실험 결과

연구 질문

• RQ1 모든 2D 차량 검출 네트워크에 최소한의 수정으로 3D 검출 출력을 생성할 수 있는 일반적인 파이프라인을 설계할 수 있는가?
• RQ2 희소 포인트 클라우드에서 3D 차량 경계 상자를 추정하기 위해 일반화된 자동차 모델과 점수 맵을 사용한 모델 피팅의 효과는 어떠한가?
• RQ3 기본 3D 상자 추정 대비 이중 단계 CNN이 3D 검출 정확도 향상에 얼마나 기여하는가?
• RQ4 이 파이프라인은 다양한 2D 검출 아키텍처와 실제 환경 데이터 분포에 대해 얼마나 일반화 가능한가?

주요 결과

• 파이프라인은 IoU 임계값 0.5에서 KITTI 검증 세트에서 3D 검출 평균 정밀도(AP) 87.69%를 달성하여 3D 검출 알고리즘 중 두 번째로 높은 순위를 기록했다.
• PC-CNN와 MS-CNN를 파이프라인에 사용했을 때 3D 검출 성능이 유사하여, 파이프라인의 유연성과 다양한 2D 네트워크 아키텍처 간의 일반화 능력을 입증했다.
• 제거 분석 결과, 첫 번째 단계 CNN은 모델 피팅 기반 기준 대비 3D AP를 약 30% 향상시켰고, 두 번째 단계 CNN은 약간의 개선을 제공하여 점수 재할당 기능의 중요성을 확인했다.
• 자동차 치수 회귀 헤드 추가로 2D 검출 성능에 거의 영향을 주지 않았으며, 일부 카테고리에서는 약간 향상되거나 동일한 성능를 유지했다.
• 파이프라인은 KITTI 데이터셋 외부의 실제 환경 데이터(Boston, USA)에도 미세조정 없이 잘 일반화되어 있어 강력한 내성성과 이식 가능성 확보했다.