[논문 리뷰] V2VNet: Vehicle-to-Vehicle Communication for Joint Perception and Prediction

Tsun-Hsuan Wang, Sivabalan Manivasagam외 5명|arXiv (Cornell University)|2020. 08. 17.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 14

한 줄 요약

V2VNet는 주변 자율주행차(SDV)에서 압축된 딥 특징 맵을 차량 간 통신(V2V)을 통해 전송하여 3차원 객체 탐지 및 운동 예측을 공동으로 향상시키는 프레임워크를 제안한다. 다중 시점, 다중 시간대의 데이터를 집계하기 위해 공간 인지형 그래프 신경망을 사용함으로써, V2VNet은 가림되거나 관측이 희박한 객체에서 최대 60% 높은 AP를 달성하면서도 저대역폭을 유지하며, 현실적인 지연, 노이즈, 혼합 메시지 유형 하에서 퓨전 기반 모델들을 능가한다.

ABSTRACT

In this paper, we explore the use of vehicle-to-vehicle (V2V) communication to improve the perception and motion forecasting performance of self-driving vehicles. By intelligently aggregating the information received from multiple nearby vehicles, we can observe the same scene from different viewpoints. This allows us to see through occlusions and detect actors at long range, where the observations are very sparse or non-existent. We also show that our approach of sending compressed deep feature map activations achieves high accuracy while satisfying communication bandwidth requirements.

연구 동기 및 목표

• 자신이 주행 중인 자율주행차(SDV)에서 온 다중 시점 데이터를 V2V 통신을 통해 활용하여 자율주행 차량의 인식 및 운동 예측 성능을 향상시키는 것.
• 희박한 LiDAR 관측으로 인해 가려진 또는 장거리에 있는 운전자를 탐지하고 예측하는 데 도전하는 것.
• V2V 시스템에서 현실적인 대역폭 제약 조건을 고려하면서도 높은 정확도를 유지할 수 있는 통신 효율적인 방법을 설계하는 것.
• 공동 교통 환경에서 다중 SDV의 인식 및 예측 성능을 평가하기 위해 실감나는 시뮬레이션 데이터셋(V2V-Sim)을 구축하는 것.
• 시간 지연, 위치 추정 오차, 비동기적 메시지 전파와 같은 실제 환경 조건 하에서의 강인성 평가

제안 방법

• V2VNet은 원시 LiDAR 데이터나 탐지 결과가 아닌 압축된 중간 특징 맵을 각 SDV에서 인접 차량으로 전송함으로써 대역폭을 절감하면서도 의미 정보를 유지한다.
• 공간 인지형 그래프 신경망(GNN)이 다양한 시점과 시간대의 특징을 집계하여 맥락적이고 반복적인 추론을 가능하게 한다.
• 차량 간 계산과 추론을 공유함으로써 공동 인식 및 예측(P&P)을 수행함으로써 정확도와 효율성을 향상시킨다.
• 고정밀도 LiDAR 시뮬레이터를 사용해 실감나는 다중 SDV 환경를 생성하고, 이를 바탕으로 평가용 V2V-Sim 데이터셋을 제작한다.
• 불완전한 위치 추정(Gaussian 및 von Mises 노이즈), 시간 지연(균일 분포), 비동기적 메시지 전파 조건 하에서 강인성을 테스트한다.
• 다양한 퓨전 기반 모델들과 비교: 무융합(단일 차량), LiDAR 융합(원시 포인트 클라우드 융합), 출력 융합(탐지 결과 융합)

실험 결과

연구 질문

• RQ1 V2V 통신이 자율주행 환경에서 가려진 또는 장거리에 있는 운전자에 대해 탐지 및 운동 예측 성능을 크게 향상시킬 수 있는가?
• RQ2 정확도와 대역폭의 균형을 고려할 때, V2V 채널을 통해 전송할 최적의 데이터 표현 방식(원시 센서 데이터, 탐지 결과, 중간 특징)은 무엇인가?
• RQ3 시간 지연, 위치 추정 오차, 비동기적 메시지 전달과 같은 현실적인 통신 제약 조건 하에서 V2VNet의 성능은 어떠한가?
• RQ4 공동 교통 환경에서 SDV 밀도가 증가함에 따라 성능은 어떻게 변화하는가?
• RQ5 다양한 유형의 정보(센서 데이터, 특징, 출력)를 전송하는 혼합 플릿 환경에서 V2VNet은 어떻게 작동하는가?

주요 결과

• 0~6개의 LiDAR 포인트를 가진 객체에 대해 평균 정밀도(AP)가 60% 이상 향상되었으며, 극도로 희박한 관측으로 인해 탐지가 가장 어려운 객체에 대해 특히 유의미한 성능 향상을 보였다.
• SDV 밀도가 증가함에 따라 성능이 선형적으로 증가하여 더 많은 차량이 데이터 기여함에 따라 일관된 성능 향상을 보였다.
• 최대 9ms의 시간 지연과 최대 4°의 방향 오차 조건 하에서도 강인한 성능을 유지하였으며, LiDAR 및 출력 융합 기반 모델들을 능가했다.
• 4°의 방향 오차 조건에서 V2VNet은 0.73의 리콜을 달성하여 출력 융합 기반 모델(0.62)보다 훨씬 높은 탐지 신뢰성을 보였다.
• 1/3 확률로 각 메시지 유형(센서, 특징, 출력)이 혼합된 플릿 환경에서 V2VNet은 IoU=0.7일 때 88.6의 AP, 3.0초 예측 오차 0.79m, TCR 2.63를 기록하여 모든 기반 모델들을 능가했다.
• 정성적 결과 분석을 통해 V2VNet은 이전에 가려졌던 차량을 탐지하고 인식 범위를 확장함으로써 안전한 차선 변경과 조기에 장애물 탐지가 가능하다는 점을 입증했다.