[논문 리뷰] Cooper: Cooperative Perception for Connected Autonomous Vehicles based on 3D Point Clouds

Qi Chen, Sihai Tang외 2명|arXiv (Cornell University)|2019. 05. 13.

Autonomous Vehicle Technology and Safety참고 문헌 21인용 수 12

한 줄 요약

Cooper는 연결된 자율주행차 간에 다수의 차량에서 온 원시 3D 레이저 라이다 포인트 클라우드를 융합하여 3D 객체 탐지 성능을 향상시키는 협업 인식 프레임워크를 제안한다. 깊이 학습 기반의 SPOD 방법을 사용해 다양한 시야각에서 온 포인트 클라우드를 정렬하고 융합함으로써, 탐지 정확도를 향상시키고 감지 범위를 확장한다. 이는 DSRC 기반 차량 네트워크 환경에서도 실현 가능함을 입증하였다.

ABSTRACT

Autonomous vehicles may make wrong decisions due to inaccurate detection and recognition. Therefore, an intelligent vehicle can combine its own data with that of other vehicles to enhance perceptive ability, and thus improve detection accuracy and driving safety. However, multi-vehicle cooperative perception requires the integration of real world scenes and the traffic of raw sensor data exchange far exceeds the bandwidth of existing vehicular networks. To the best our knowledge, we are the first to conduct a study on raw-data level cooperative perception for enhancing the detection ability of self-driving systems. In this work, relying on LiDAR 3D point clouds, we fuse the sensor data collected from different positions and angles of connected vehicles. A point cloud based 3D object detection method is proposed to work on a diversity of aligned point clouds. Experimental results on KITTI and our collected dataset show that the proposed system outperforms perception by extending sensing area, improving detection accuracy and promoting augmented results. Most importantly, we demonstrate it is possible to transmit point clouds data for cooperative perception via existing vehicular network technologies.

연구 동기 및 목표

• 센서의 빈 공간과 인식 실패로 인해 고립된 자율주행차가 가려진 물체나 먼 거리의 물체를 탐지하지 못하는 한계를 해결하기 위해.
• 고수준 융합의 단점을 극복하기 위해 원시 센서 데이터의 저수준 융합을 활용해 탐지 민감도와 중복성을 유지하기 위해.
• 연결된 차량 간 데이터 공유를 통해 협업 인식을 실현하고 상황 인식 능력을 향상시키며 탐지 실패를 줄이기 위해.
• 기존 차량 네트워크인 DSRC를 통해 원시 3D 포인트 클라우드 데이터를 전송하는 것이 대역폭 제약을 초과하지 않고 실현 가능한지 입증하기 위해.

제안 방법

• 다양한 공간 구성을 갖는 연결된 자율주행차에서 원시 3D 레이저 라이다 포인트 클라우드를 수집하고 교환하기 위해.
• 기하학적 변환과 공간 대응을 사용해 다수의 차량에서 온 포인트 클라우드를 동일한 좌표 프레임으로 정렬하고 등록하기 위해.
• 융합되고 정렬된 포인트 클라우드에 깊이 학습 기반의 3D 객체 탐지 모델(SPOD)을 적용하여 더 높은 정확도로 객체를 탐지하기 위해.
• 차량 간 상대 위치와 시나리오의 복잡도에 따라 데이터 교환 우선순위를 정하는 대역폭 인지 전략을 설계하기 위해.
• 데이터 부하를 줄이기 위해 동적으로 가장 정보가 풍부한 포인트 클라우드 영역(ROI)을 선택하는 협업 인식 파이프라인을 구현하기 위해.
• 실제 차량 네트워크 제약 조건 하에서 포인트 클라우드 전송의 실현 가능성을 평가하기 위해 DSRC 기반 통신 프로토콜을 활용하기 위해.

실험 결과

연구 질문

• RQ1 연결된 차량 간 원시 3D 레이저 라이다 포인트 클라우드 융합이 단일 차량 인식 대비 3D 객체 탐지 정확도를 크게 향상시키는가?
• RQ2 DSRC와 같은 기존 차량 통신 네트워크를 통해 원시 레이저 라이다 포인트 클라우드를 전송하는 것이 대역폭 한계를 초과하지 않고 가능한가?
• RQ3 협업 인식은 효과적인 감지 범위를 어떻게 연장하고, 가려진 영역이나 빈 공간에서 이전에 탐지되지 않았던 물체를 어떻게 복구하는가?
• RQ4 다양한 협업 데이터 교환 시나리오(예: 옆으로 주행, 앞/뒤 주행, 교차로)의 대역폭 비용은 얼마이며, DSRC 용량 내에서 관리 가능한가?

주요 결과

• Cooper는 효과적인 감지 영역을 확장함으로써 3D 객체 탐지 성능을 향상시켜 이전에는 개별 차량의 시야에서 가려져 있던 물체를 탐지할 수 있도록 한다.
• 협업 융합을 통해 이전에 탐지되지 않았던 물체를 성공적으로 탐지하며, 특히 가림과 빈 공간 상황에서 뚜렷한 성과를 보인다.
• 가장 높은 전송 비용을 유발하는 시나리오(옆으로 주행하는 차량)는 프레임당 약 1.8 Mbit의 대역폭을 필요로 하며, DSRC 기반 차량 네트워크의 용량 내에 유지된다.
• 단방향 데이터 교환(예: 뒤따르는 차량이 앞선 차량으로부터 데이터를 수신)은 대역폭 소비가 가장 적고 실시간 구현에 가장 실현 가능하다.
• 이 프레임워크는 기존 DSRC 인프라를 통해 원시 레이저 라이다 데이터 공유가 실현 가능하며, 실제 환경 조건에서 협업 인식을 지원함을 입증한다.
• 민감한 영상 또는 비디오 콘텐츠 전송을 방지하기 위해 오직 레이저 라이다 데이터만 공유되므로 개인정보 보호가 유지된다.