[논문 리뷰] Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles

Shunsuke Aoki, Takamasa Higuchi외 1명|arXiv (Cornell University)|2020. 04. 23.

Vehicular Ad Hoc Networks (VANETs)참고 문헌 22인용 수 11

한 줄 요약

이 논문은 연결된 차량을 위한 딥 강화학습(DRL) 기반 협동 인식 시스템을 제안하며, 네트워크 부하를 줄이고 탐지 정확도를 향상시키기 위해 전송할 센서 데이터를 지능적으로 선택한다. DRL을 활용해 고가치 인식 데이터를 우선순위화함으로써, 기준 프로토콜 대비 패킷 손실을 감소시키고 탐지 정확도를 최대 12% 향상시키며, 특히 혼잡한 교통 환경에서 통신 신뢰성을 향상시킨다.

ABSTRACT

Sensor-based perception on vehicles are becoming prevalent and important to enhance the road safety. Autonomous driving systems use cameras, LiDAR, and radar to detect surrounding objects, while human-driven vehicles use them to assist the driver. However, the environmental perception by individual vehicles has the limitations on coverage and/or detection accuracy. For example, a vehicle cannot detect objects occluded by other moving/static obstacles. In this paper, we present a cooperative perception scheme with deep reinforcement learning to enhance the detection accuracy for the surrounding objects. By using the deep reinforcement learning to select the data to transmit, our scheme mitigates the network load in vehicular communication networks and enhances the communication reliability. To design, test, and verify the cooperative perception scheme, we develop a Cooperative & Intelligent Vehicle Simulation (CIVS) Platform, which integrates three software components: traffic simulator, vehicle simulator, and object classifier. We evaluate that our scheme decreases packet loss and thereby increases the detection accuracy by up to 12%, compared to the baseline protocol.

연구 동기 및 목표

• 협동 인식에서 센서 데이터의 중복 전송으로 인한 차량 통신 네트워크의 혼잡 문제를 해결하기 위해.
• 지능적인 인식 데이터 공유 선택을 통해 연결된 차량 시스템의 탐지 정확도와 통신 신뢰성을 향상시키기 위해.
• 비용이 많이 드는 실제 시험에 의존하지 않고도 협동 인식 시스템을 테스트할 수 있는 확장 가능하고 반복 가능한 시뮬레이션 프레임워크를 개발하기 위해.
• 딥 강화학습이 협동 인식에서 네트워크 부하를 효과적으로 줄이면서도 객체 탐지 성능을 유지하거나 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 시스템은 지역 센서 데이터를 처리하고 전송할 인식 데이터를 결정하기 위해 컨volutional 신경망(CNNs)을 활용한 딥 Q네트워크(DQN)를 사용한다.
• 각 연결된 차량은 자신의 지역 환경과 V2V 통신 상태를 관찰한 후, 인식된 가치와 네트워크 조건에 기반해 DRL을 활용해 전송 결정을 내린다.
• 협동 및 지능형 차량 시뮬레이션(CIVS) 플랫폼은 CARLA를 활용해 현실적인 3차원 차량 및 센서 시뮬레이션을 수행하고, SUMO를 통해 교통 이동성 모델링을 구현하며, V2V 데이터 교환을 위한 커스텀 통신 모델을 통합한다.
• DRL 에이전트는 SUMO의 이동성 및 센서 데이터를 오프라인으로 활용해, 중복을 최소화하고 패킷 손실을 줄이는 최적의 전송 정책을 학습한다.
• 시스템은 탐지 비율과 패킷 수신 비율을 기반으로 전송 결정을 평가하여 신뢰성과 정확도를 최적화한다.
• 시뮬레이션 프레임워크는 다양한 교통 조건 하에서 인식 정확도, 네트워크 부하, 통신 신뢰성의 종단 간 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습을 활용해 협동 차량 네트워크에서 전송할 인식 데이터를 지능적으로 선택하여 네트워크 부하를 줄일 수 있는가?
• RQ2 차량 간 가림 또는 혼잡한 교통 상황에서 제안된 DRL 기반 전송 정책이 기준 프로토콜 대비 탐지 정확도를 얼마나 향상시키는가?
• RQ3 학습 시간이 탐지 비율과 패킷 수신 비율 측면에서 DRL 기반 인식 시스템의 신뢰성과 성능에 어떤 영향을 미치는가?
• RQ4 지능적인 데이터 선택이 고밀도 차량 환경에서 네트워크 혼잡과 패킷 손실에 어떤 영향을 미치는가?
• RQ5 CARLA, SUMO 및 커스텀 통신 모델을 조합한 시뮬레이션 플랫폼이 반복 가능하고 확장 가능한 방식으로 협동 인식 시스템을 효과적으로 검증할 수 있는가?

주요 결과

• 제안된 DRL 기반 방식은 CNN이 충분히 훈련된 경우 기준 프로토콜 대비 탐지 정확도를 최대 12% 향상시킨다.
• 제안된 방식에 따라 패킷 수신 비율이 최대 27% 향상되었으며, 이는 네트워크 부하 감소와 충돌 수의 감소로 인한 것이다.
• 부족한 학습 시간은 탐지 성능을 기준 프로토콜 수준으로 이끌어내어, DRL 에이전트의 충분한 오프라인 학습의 중요성을 강조한다.
• 시스템은 다양한 교통 밀도에서 뛰어난 성능을 유지하며, 실제 환경과 유사한 조건에서도 견고함을 입증한다.
• CIVS 플랫폼은 협동 인식 시스템의 반복 가능하고 확장 가능한 평가를 성공적으로 지원하며, 인식 및 통신 성능 분석을 모두 지원한다.