[논문 리뷰] COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles

Jiaxun Cui, Hang Qiu외 3명|arXiv (Cornell University)|2022. 05. 04.

Advanced Optical Sensing Technologies인용 수 9

한 줄 요약

Coopernaut은 V2V 채널을 통해 전송되는 압축되고 공간 인지 능력을 갖춘 레이저 레인지 센서(LiDAR) 표현을 활용하여 시선 외부 인식 한계를 초월하는 시각 기반 협업 주행 모델을 제안한다. 이는 사고가 자주 발생하는 상황에서 자율 주행 차량의 성공률을 기존의 자기 중심 모델 대비 40% 향상시키며, 이전 연구 대비 대역폭 사용을 5배 줄여 실제 무선 환경 제약과 다양한 교통 밀도 조건에서도 뛰어난 성능을 보여준다.

ABSTRACT

Optical sensors and learning algorithms for autonomous vehicles have dramatically advanced in the past few years. Nonetheless, the reliability of today's autonomous vehicles is hindered by the limited line-of-sight sensing capability and the brittleness of data-driven methods in handling extreme situations. With recent developments of telecommunication technologies, cooperative perception with vehicle-to-vehicle communications has become a promising paradigm to enhance autonomous driving in dangerous or emergency situations. We introduce COOPERNAUT, an end-to-end learning model that uses cross-vehicle perception for vision-based cooperative driving. Our model encodes LiDAR information into compact point-based representations that can be transmitted as messages between vehicles via realistic wireless channels. To evaluate our model, we develop AutoCastSim, a network-augmented driving simulation framework with example accident-prone scenarios. Our experiments on AutoCastSim suggest that our cooperative perception driving models lead to a 40% improvement in average success rate over egocentric driving models in these challenging driving situations and a 5 times smaller bandwidth requirement than prior work V2VNet. COOPERNAUT and AUTOCASTSIM are available at https://ut-austin-rpl.github.io/Coopernaut/.

연구 동기 및 목표

• 선형 시야 외부에서 인식이 실패할 때 발생하는 데이터 기반 자율 주행 정책의 취약성을 해결하기 위해.
• 차량 간 통신(V2V)을 통해 협업적 인식을 가능하게 하여 사고가 자주 발생하는 상황에서 주행 안전성을 향상시키기 위해.
• 압축되고 물리적으로 기반을 둔 LiDAR 표현을 전송함으로써 통신 효율성이 높고 엔드 투 엔드 학습 프레임워크를 설계하기 위해.
• 동적 교통과 제한된 감지 범위가 존재하는 현실적인 도로 환경에서의 도전적인 주행 시나리오에서 모델을 평가하기 위해.
• 네트워크 기반 자율 주행에서 협업적 인식을 재현 가능한 벤치마킹이 가능한 시뮬레이션 프레임워크를 개발하기 위해.

제안 방법

• 모델은 각 차량에서 원시 LiDAR 포인트 클라우드를 압축되고 공간 인지 능력을 갖춘 신경 표현으로 변환하기 위해 포인트 트랜스포머 기반 인코더를 사용한다.
• 이 표현들은 제한된 대역폭을 가진 현실적인 V2V 무선 채널을 통해 전송되며, 공간적 및 기하학적 정확성을 유지한다.
• 자신의 차량은 이웃 차량으로부터 수신한 표현들을 미분 가능하고 공간 기반의 변환 및 융합 메커니즘을 통해 통합한다.
• 전체 시스템은 엔드 투 엔드로 미분 가능하며, 오라클 플래너로부터 온 제어 지시가 인식 및 통신 모듈을 거쳐 역전파(backpropagate)될 수 있도록 한다.
• CARLA에서 다중 차량 V2V 통신, 현실적인 네트워크 조건, 사고가 자주 발생하는 상황을 모델링하기 위해 새로운 시뮬레이션 프레임워크인 AutoCastSim을 개발하였다.
• 이 프레임워크에는 특별한 정보를 갖춘 전문가 오라클 플래너가 포함되어 있어, 인식 학습을 위한 지도 학습을 지원하고 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 V2V 통신을 통한 협업적 인식이 가림막이 있거나 고위험 교통 상황에서 주행 성능을 크게 향상시킬 수 있는가?
• RQ2 압축된 LiDAR 표현의 통신 효율성은 대역폭과 성능 측면에서 이전 방법과 비교해 어떻게 다른가?
• RQ3 엔드 투 엔드 학습 기반으로 전송된 메시지가 작업에 관련된 실질적인 정보를 포함하고 있음을 얼마나 잘 보장할 수 있는가?
• RQ4 실제 환경 유사 조건에서 변동하는 교통 밀도와 동적 이웃 변화에 대해 모델은 얼마나 견고한가?
• RQ5 수동으로 설정된 메타데이터에 의존하지 않고도 다양한 사고가 자주 발생하는 상황에 대해 모델은 일반화할 수 있는가?

주요 결과

• Coopernaut은 완전히 가림막이 있는 상황에서 사고가 자주 발생하는 시나리오, 예를 들어 왼쪽으로 전환하는 상황에서 자기 중심 주행 모델 대비 평균 성공률을 40% 향상시켰다.
• 이전 연구인 V2VNet 대비 대역폭 요구량을 5배 줄였으며, 성능은 유지하거나 향상시켰다.
• 밀도가 높은 교통 상황에서 Coopernaut은 V2V 메시지 공유가 없는 기준 모델 대비 30% 이상 높은 성공률을 유지하여 이웃 차량 간 통신의 불확실성이 증가하더라도 견고함을 입증했다.
• 정성적 분석 결과, Coopernaut은 트럭 등 장애물 뒤에 숨어 있는 차량을 협업적 인식을 통해 사전에 충돌을 방지할 수 있도록 한다.
• 다양한 교통 밀도 상황에서도 일관된 성능 향상을 보이며, 주변 차량 수에 관계없이 안정적인 성능 향상을 확보했다.
• 임의의 이웃 선택 및 공간 변환으로 인한 5%의 패킷 손실 상황에서도 Coopernaut은 현실적인 네트워크 결함에 대비해 뛰어난 내성성을 보였다.