[논문 리뷰] Facilitating Connected Autonomous Vehicle Operations Using Space-weighted Information Fusion and Deep Reinforcement Learning Based Control

Jiqian Dong, Sikai Chen외 4명|arXiv (Cornell University)|2020. 09. 30.

Traffic control and management참고 문헌 51인용 수 15

한 줄 요약

이 논문은 연결형 자율주행차(CAV)의 운영, 특히 차선 변경을 향상시키기 위해 공간 가중 정보 융합과 딥 강화학습(DRL) 기반 제어 프레임워크를 제안한다. 단거리 차량 내 센서 데이터와 장거리 V2X 연결 차량 데이터를 통합함으로써 안전성과 이동성 향상을 달성한다. 사례 연구를 통해 교통 밀도에 따라 최적의 연결 범위(CR) 설정을 도출한다.

ABSTRACT

The connectivity aspect of connected autonomous vehicles (CAV) is beneficial because it facilitates dissemination of traffic-related information to vehicles through Vehicle-to-External (V2X) communication. Onboard sensing equipment including LiDAR and camera can reasonably characterize the traffic environment in the immediate locality of the CAV. However, their performance is limited by their sensor range (SR). On the other hand, longer-range information is helpful for characterizing imminent conditions downstream. By contemporaneously coalescing the short- and long-range information, the CAV can construct comprehensively its surrounding environment and thereby facilitate informed, safe, and effective movement planning in the short-term (local decisions including lane change) and long-term (route choice). In this paper, we describe a Deep Reinforcement Learning based approach that integrates the data collected through sensing and connectivity capabilities from other vehicles located in the proximity of the CAV and from those located further downstream, and we use the fused data to guide lane changing, a specific context of CAV operations. In addition, recognizing the importance of the connectivity range (CR) to the performance of not only the algorithm but also of the vehicle in the actual driving environment, the paper carried out a case study. The case study demonstrates the application of the proposed algorithm and duly identifies the appropriate CR for each level of prevailing traffic density. It is expected that implementation of the algorithm in CAVs can enhance the safety and mobility associated with CAV driving operations. From a general perspective, its implementation can provide guidance to connectivity equipment manufacturers and CAV operators, regarding the default CR settings for CAVs or the recommended CR setting in a given traffic environment.

연구 동기 및 목표

• 자율주행차의 단거리 차량 내 센서의 한계를 보완하기 위해 장거리 V2X 연결 데이터를 통합함으로써 문제를 해결하고자 한다.
• 다양한 범위의 환경 인식을 융합함으로써 차선 변경 운영에서의 의사결정을 향상시키고자 한다.
• 다양한 교통 밀도 조건에서 CAV의 최적의 연결 범위(CR)를 도출하여 안전성과 이동성을 극대화하고자 한다.
• CAV 운영자 및 연결 장비 제조업체가 실세계 CAV 구현에서 기본 또는 적응형 CR 설정을 설정하는 데 실질적인 지침을 제공하고자 한다.

제안 방법

• 프레임워크는 차량 내 센서(LiDAR, 카메라)와 다양한 거리의 V2X 연결 차량에서 온 데이터를 융합하기 위해 공간 가중 정보 융합을 적용한다.
• 딥 강화학습(DRL) 에이전트는 융합된 다중 범위 환경 상태를 기반으로 차선 변경 결정을 내리도록 훈련된다.
• 융합 과정에서는 가까운 원천(차량 내 센서)에서 온 정보에 더 높은 가중치를 부여하고, 거리가 길어질수록 V2X 데이터의 가중치를 점차 감소시킨다.
• DRL 정책 네트워크는 보상 설계를 통해 안전성, 원활함, 진전을 우선시하는 시뮬레이션 환경에서 훈련된다.
• 알고리즘은 현재 연결 범위(CR)에 따라 V2X 데이터 의존도를 동적으로 조정함으로써 적응형 성능을 가능하게 한다.
• 사례 연구를 통해 다양한 교통 밀도 조건에서 알고리즘의 성능을 평가하여 각 조건에 최적의 CR을 도출한다.

실험 결과

연구 질문

• RQ1 다양한 교통 환경에서 동적 변화하는 상황에서 단거리 차량 내 센서 데이터와 장거리 V2X 데이터를 효과적으로 융합하여 CAV의 환경 인식을 향상시키는 방법은 무엇인가?
• RQ2 다양한 교통 밀도에서 연결 범위(CR)를 변화시켰을 때 DRL 기반 차선 변경 결정 성능에 미치는 영향은 어떠한가?
• RQ3 공간 가중 융합은 자율주행차의 환경 상태 추정 정확도와 내구성을 어떻게 향상시키는가?
• RQ4 저밀도, 중밀도, 고밀도 교통 조건에서 CAV 차선 변경 운영에서 안전성과 이동성을 극대화하는 데 최적의 CR 설정은 무엇인가?
• RQ5 제안된 프레임워크는 실세계 CAV 구현에서 기본 또는 적응형 CR 파rameter 설정을 위한 실질적인 지침을 제공할 수 있는가?

주요 결과

• 제안된 공간 가중 융합 방법은 고해상도 국소 데이터와 V2X 원천으로부터의 예측 장거리 데이터를 융합함으로써 환경 인식을 크게 향상시킨다.
• DRL 기반 제어 정책은 즉각적이고 하류 교통 조건을 모두 활용함으로써 더 안전하고 효율적인 차선 변경을 달성한다.
• 사례 연구에서 최적의 연결 범위(CR)는 교통 밀도에 따라 달라지며, 저밀도 교통에서는 낮은 CR이 충분하고, 고밀도 조건에서는 안전성과 이동성을 유지하기 위해 높은 CR이 필요하다는 것이 확인되었다.
• 알고리즘은 단지 차량 내 센서에 의존하는 시스템에 비해 의사결정 일관성 향상과 충돌 위험 감소를 보였다.
• 연구 결과는 CR 설정이 교통 조건에 따라 동적으로 조정되어야 하며, 다양한 교통 밀도 수준에 맞는 구체적 권고가 필요하다는 것을 입증한다.
• 이 프레임워크의 구현은 CAV 운영자 및 연결 장비 제조업체가 최적 성능을 위해 CR를 설정하는 데 실질적인 지침을 제공한다.