[논문 리뷰] MVLidarNet: Real-Time Multi-Class Scene Understanding for Autonomous Driving Using Multiple Views

Ke Chen, Ryan Oldja외 6명|arXiv (Cornell University)|2020. 06. 09.

Advanced Neural Network Applications참고 문헌 23인용 수 7

한 줄 요약

MVLidarNet은 단일 LiDAR 스캔의 투시도 및 조감도 투영을 모두 활용하여 실시간으로 다중 클래스 객체 검출(차량 및 보행자)과 주행 가능한 영역 분할을 가능하게 하는 이단계, 다중 시각의 딥러닝 시스템이다. 투시도에서의 의미적 분할과 조감도에서의 객체 검출을 인코더-디코더 아키텍처를 통해 통합함으로써, 고도로 혼잡한 장면(프레임당 100개 이상의 동적 객체 포함)에서도 높은 정확도를 유지하면서 임베디드 GPU에서 150 fps를 달성한다.

ABSTRACT

Autonomous driving requires the inference of actionable information such as detecting and classifying objects, and determining the drivable space. To this end, we present Multi-View LidarNet (MVLidarNet), a two-stage deep neural network for multi-class object detection and drivable space segmentation using multiple views of a single LiDAR point cloud. The first stage processes the point cloud projected onto a perspective view in order to semantically segment the scene. The second stage then processes the point cloud (along with semantic labels from the first stage) projected onto a bird's eye view, to detect and classify objects. Both stages use an encoder-decoder architecture. We show that our multi-view, multi-stage, multi-class approach is able to detect and classify objects while simultaneously determining the drivable space using a single LiDAR scan as input, in challenging scenes with more than one hundred vehicles and pedestrians at a time. The system operates efficiently at 150 fps on an embedded GPU designed for a self-driving car, including a postprocessing step to maintain identities over time. We show results on both KITTI and a much larger internal dataset, thus demonstrating the method's ability to scale by an order of magnitude.

연구 동기 및 목표

• 단일 LiDAR 데이터만을 사용하여 자율주행에서 실시간, 다중 클래스 인식에 도전하는 것.
• 보행자와 같은 작은, 도전적인 객체의 검출 정확도를 향상시키기 위해 투시도에서의 의미적 분할을 활용하는 것.
• 단일 LiDAR 스캔을 통해 다중 객체 클래스를 동시에 검출하고 주행 가능한 영역을 분할하는 것.
• 복잡한 데이터 증강 기법에 의존하지 않고도 임베디드 하드웨어에서 고성능 추론 속도(150 fps)를 달성하는 것.
• 프레임당 100개 이상의 차량과 보행자가 포함된 매우 혼잡한 장면에 대해 안정적으로 확장 가능한 성능을 확보하는 것.

제안 방법

• 첫 번째 단계는 LiDAR 포인트 클라우드의 투시도 투영을 사용하여 인코더-디코더 네트워크를 통해 의미적 분할을 수행한다.
• 두 번째 단계는 동일한 포인트 클라우드를 조감도(BEV)로 투영하고, 첫 번째 단계에서의 의미적 레이블과 높이 특징을 통합하여 객체 검출을 수행한다.
• 양 단계 모두에서 공간적 맥락을 유지하고 조밀한 예측을 가능하게 하기 위해 인코더-디코더 아키텍처를 사용한다.
• 시스템은 단일 LiDAR 스캔을 처리하여 차량과 보행자를 검출하고 분류하며, 동시에 주행 가능한 영역을 실시간으로 분할한다.
• 프레임 간 객체 정체성을 유지하기 위해 시간적 일관성을 확보하기 위해 후처리를 적용한다.
• 네트워크는 KITTI와 수십만 개의 스캔을 포함한 대규모 내부 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 투시도 및 조감도 투영을 모두 활용하는 이단계, 다중 시각 네트워크가 단일 시각 방법에 비해 다중 클래스 LiDAR 객체 검출 정확도를 향상시킬 수 있는가?
• RQ2 투시도에서의 의미적 분할을 통합함으로써 보행자와 같은 작은, 시야가 제한된 객체의 검출 성능이 향상되는가?
• RQ3 단일 통합 네트워크로 다중 객체 클래스 검출과 주행 가능한 영역 분할을 고효율로 동시에 수행할 수 있는가?
• RQ4 프레임당 100개 이상의 동적 객체가 포함된 극한의 장면 복잡성 상황에서 시스템의 성능은 어떠한가?
• RQ5 실생활 자율주행 데이터에서 기존 방법에 비해 제안된 아키텍처가 속도와 정확도 측면에서 얼마나 뛰어난가?

주요 결과

• 시스템은 임베디드 GPU에서 150 fps를 달성하여 이전 방법에 비해 추론 속도에서 뚜렷한 우월성을 보였다.
• KITTI 데이터셋에서 MVLidarNet은 쉬운 차량에 대해 AP 점수 89.27을 기록했으며, 최고의 기존 방법(89.66)과 유사한 성능을 보였지만 추론 시간은 절반 수준(6.8 ms 대비 16 ms)이었다.
• 123,000명 이상의 보행자가 포함된 내부 데이터셋에서, 보행자에 대해 0–10 m IoU 기준으로 72.29%의 AP를 기록했으며, 상향식 높이 전용 기준선(51.75%)에 비해 뚜렷한 향상이 있었다.
• 절단 분석 결과, 의미적 분할과 BEV 검출을 통합함으로써 단거리(0–10 m)에서 보행자 검출 정확도가 20.5%p 향상됨을 확인했다.
• 프레임당 100개 이상의 차량과 보행자가 포함된 장면을 성공적으로 처리하여, 매우 복잡한 실생활 시나리오에 대한 확장성과 유연성을 입증했다.
• 고해상도 Velodyne VLS-128 데이터셋에서도 보행자에 대해 0–10 m에서 88.89%의 AP를 기록하여 다양한 센서 구성에 대한 강력한 일반화 능력을 보였다.