[논문 리뷰] LiDAR Cluster First and Camera Inference Later: A New Perspective Towards Autonomous Driving

Jiyang Chen, Simon C.H. Yu외 5명|arXiv (Cornell University)|2021. 11. 18.

Advanced Neural Network Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 LiDAR 포인트 클러스터를 3D 클러스터로 군집화한 후 이를 2D 카메라 영역(2D 클러스터)로 투영하고, 이후 우선순위가 높은 영역에만 카메라 기반 추론을 적용함으로써 고위험 물체를 우선 처리하는 엔드 투 엔드 자율주행 인식 파이프라인을 제안한다. 이 방법은 우선순위 역전을 감소시키며, 전체 프레임 처리 대비 25% 빠른 추론 속도를 확보하고, Waymo Open Dataset를 사용하여 유사한 검출 정확도를 유지한다.

ABSTRACT

Object detection in state-of-the-art Autonomous Vehicles (AV) framework relies heavily on deep neural networks. Typically, these networks perform object detection uniformly on the entire camera LiDAR frames. However, this uniformity jeopardizes the safety of the AV by giving the same priority to all objects in the scenes regardless of their risk of collision to the AV. In this paper, we present a new end-to-end pipeline for AV that introduces the concept of LiDAR cluster first and camera inference later to detect and classify objects. The benefits of our proposed framework are twofold. First, our pipeline prioritizes detecting objects that pose a higher risk of collision to the AV, giving more time for the AV to react to unsafe conditions. Second, it also provides, on average, faster inference speeds compared to popular deep neural network pipelines. We design our framework using the real-world datasets, the Waymo Open Dataset, solving challenges arising from the limitations of LiDAR sensors and object detection algorithms. We show that our novel object detection pipeline prioritizes the detection of higher risk objects while simultaneously achieving comparable accuracy and a 25% higher average speed compared to camera inference only.

연구 동기 및 목표

• 모든 물체가 동일하게 처리되나 실제 충돌 위험은 상이한 자율주행 차량 인식 시스템에서의 우선순위 역전 문제를 해결하기 위해.
• 카메라 프레임의 가장 중요한 영역에만 물체 검출을 집중시켜 계산 자원 낭비를 줄이기 위해.
• 이dealized 경계 상자나 완벽한 LiDAR 애너테이션에 의존하지 않는 실세계 환경에서 호환 가능한 파이프라인 설계를 위해.
• 실시간 자율주행 응용 프로그램에서 검출 정확도를 희생시키지 않고도 추론 속도를 향상시키기 위해.
• 깊이 인식 기반 복합 이미지 그룹화 및 최적화를 통해 GPU 활용도를 효율적으로 높이기 위해.

제안 방법

• 깊이 불연속성 기반으로 원시 LiDAR 포인트 클러스터를 기반으로 3D 물체를 세그먼테이션하기 위해 Depth Clustering 알고리즘을 사용한다.
• 3D 클러스터를 2D 카메라 이미지에 투영하여 깊이 값이 할당된 2D 클러스터를 생성한다.
• 중첩되거나 산산이 흩어진 2D 클러스터를 병합하여 충돌 회피 영역(CAZones)을 형성하기 위해 깊이 인식 병합 알고리즘을 적용한다.
• CAZones를 복합 이미지로 그룹화하기 위해 깊이 인식 기반 First-Fit Decreasing Height(FFDH) 알고리즘을 설계한다.
• GPU 프ofile 및 깊이 기반 우선순위 설정을 통해 우선순위 역전을 제한하고 종단 간 지연을 감소시키기 위해 파이프라인을 최적화한다.
• 복합 CAZones에 대해 YOLOv3를 사용하여 추론을 수행하고, Waymo Open Dataset에서 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 LiDAR 우선, 카메라 추론 후행 파이프라인은 고위험 영역에 집중함으로써 자율주행 차량 인식에서 우선순위 역전을 줄일 수 있는가?
• RQ2 전체 프레임 카메라 추론 대비 제안된 방법의 추론 속도와 검출 정확도는 어떻게 비교되는가?
• RQ3 완벽한 경계 상자 가정 없이도 실세계 LiDAR 데이터를 효과적으로 활용해 신뢰할 수 있는 깊이 인식 영역을 생성할 수 있는가?
• RQ4 깊이 인식 기반 병합 및 복합 이미지 그룹화 전략은 GPU 활용도 향상과 종단 간 지연 감소에 어느 정도 기여하는가?
• RQ5 카메라 프레임의 일부만 처리함에도 불구하고 검출 정확도가 유지되거나 향상되는가?

주요 결과

• 제안된 파이프라인은 평균 추론 시간이 129 ms를 기록하여 전체 프레임 YOLOv3-608 기준(197 ms) 대비 25% 빠른 속도를 확보했다.
• LiDAR 모듈은 평균 5.7 ms 내로 포인트 클러스터를 처리했으며, 카메라 모듈의 비추론 컴포넌트는 오직 9 ms의 오버헤드만 추가했다.
• 해당 방법은 유사한 검출 정확도를 유지하였으며, AP_{M}은 92.73%로 전체_608 기준(90.75%)보다 높았고, AP_{50}는 96.25%였다.
• 깊이 인식 병합 알고리즘이 잘못된 경고를 줄이고 과도하게 분할된 클러스터를 감소시켜 효과적인 추론을 위한 일관된 CAZones를 형성했다.
• 복합 이미지 그룹화 전략은 효율적인 GPU 배치 처리를 가능하게 하여, DNN 아키텍처 변경 없이도 전체적인 속도 향상을 기여했다.
• 시스템은 이상적인 또는 합성 LiDAR 애너테이션에 의존하지 않고도 실세계 조건에서 뛰어난 안정성을 보였으며, Waymo Open Dataset에서 검증되었다.