[논문 리뷰] SAINT-ACC: Safety-Aware Intelligent Adaptive Cruise Control for Autonomous Vehicles Using Deep Reinforcement Learning

Lokesh Chandra Das, Myounggyu Won|arXiv (Cornell University)|2021. 03. 06.

Traffic control and management참고 문헌 34인용 수 6

한 줄 요약

이 논문은 실시간 거시적 및 미시적 교통 데이터를 기반으로 동적으로 차간 거리를 최적화하는 이중 딥 강화학습 에이전트를 사용한 안전 인지적 적응형 크루이즈 컨트롤 시스템인 SAINT-ACC를 제안한다. 복잡한 고속도로 환경에서 차선 이탈 및 진입/진출 차량이 존재하는 상황에서 기준 시스템 대비 최대 91.5% 높은 주행 안전성과 11.8% 높은 교통 효율성을 달성한다.

ABSTRACT

We present a novel adaptive cruise control (ACC) system namely SAINT-ACC: {S}afety-{A}ware {Int}elligent {ACC} system (SAINT-ACC) that is designed to achieve simultaneous optimization of traffic efficiency, driving safety, and driving comfort through dynamic adaptation of the inter-vehicle gap based on deep reinforcement learning (RL). A novel dual RL agent-based approach is developed to seek and adapt the optimal balance between traffic efficiency and driving safety/comfort by effectively controlling the driving safety model parameters and inter-vehicle gap based on macroscopic and microscopic traffic information collected from dynamically changing and complex traffic environments. Results obtained through over 12,000 simulation runs with varying traffic scenarios and penetration rates demonstrate that SAINT-ACC significantly enhances traffic flow, driving safety and comfort compared with a state-of-the-art approach.

연구 동기 및 목표

• 기존 적응형 크루이즈 컨트롤 시스템이 교통 흐름을 우선시하면서 주행 안전성과 편안함을 간과하는 격차를 보완한다.
• 정적 안전 모델이 실패하는 동적이고 복잡한 교통 환경에서의 안전 평가를 향상시킨다.
• 적응형 차간 거리 제어를 통해 교통 효율성, 주행 안전성, 주행 편안함을 동시에 최적화한다.
• 강화학습을 활용해 실시간으로 시간-충돌까지(TTC) 임계값을 조정하는 동적 안전 모델을 개발한다.
• 다양한 교통 조건, 특히 진입/진출 차량과 고비율 자율 주행 차량이 존재하는 상황에서 시스템의 견고성을 검증한다.

제안 방법

• 이중 강화학습 아키텍처를 활용: 한 에이전트는 차간 거리를 최적화하고, 다른 에이전트는 안전성을 위해 TTC 임계값을 동적으로 조정한다.
• 두 에이전트의 상태 입력으로 거시적(예: 교통 밀도, 유량) 및 미시적(예: 상대 속도, 거리) 교통 데이터를 통합한다.
• 실제 고속도로 환경을 구현하기 위해 SUMO(교통 시뮬레이터)와 Veins(차량 네트워크 시뮬레이터)를 결합한 시뮬레이션 환경에서 RL 에이전트를 훈련시킨다.
• 속도 및 유량을 통한 교통 효율성, 근접 충돌 수를 통한 주행 안전성, 가속도 분산을 통한 주행 편안함을 균형 잡힌 보상 함수로 사용한다.
• 변화하는 교통 조건에 따라 TTC 임계값을 동적으로 업데이트하여 고정 임계값 대비 더 높은 안전 모델 적응성 확보.
• 제어 결정을 위한 1초 간격 업데이트를 구현하여 실시간 교통 변화에 민감하게 반응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반 시스템이 복잡하고 변화하는 교통 환경에서 TTC 임계값을 동적으로 조정하여 안전성을 향상시킬 수 있는가?
• RQ2 적응형 차간 거리 제어는 정적 또는 규칙 기반 ACC 시스템에 비해 교통 효율성, 안전성, 주행 편안함을 얼마나 향상시키는가?
• RQ3 차선 이탈 및 진입/진출 차량이 존재하는 다양한 교통 조건에서 SAINT-ACC의 성능은 어떻게 변화하는가?
• RQ4 이중-RL 아키텍처의 계산 오버헤드는 얼마이며, 자율 주행 차량의 실시간 구현에 가능할까?
• RQ5 차간 거리 제어의 업데이트 간격이 시스템 성능에 얼마나 민감한가?

주요 결과

• 고속도로에서 차량 밀도가 2,000 辆/h/km에 이르는 높은 진출 차량 밀도 조건에서, SAINT-ACC는 기준 시스템 대비 최대 91.5% 높은 주행 안전성을 확보한다.
• 동일한 조건에서 최신 기술 대비 24% 높은 안전성을 확보한다(Zhu et al., 2020).
• 특히 진입 차량이 존재하는 조건에서 기준 시스템 대비 최대 11.8% 향상된 교통 효율성과 Zhu의 방법 대비 4.1% 향상된 효율성을 기록한다.
• 부드러운 가속도 프로파일 덕분에 기준 시스템 대비 최대 41.3% 높은 주행 편안함을 확보하였고, Zhu의 방법 대비 7.6% 향상되었다.
• SAINT-ACC의 평균 계산 지연은 26.9ms로, 1초 간격 업데이트를 위한 실시간 제어 기준 허용 범위 내에 있다.
• 업데이트 간격이 3초를 초과해도 성능 저하가 미미하여, 1~3초 간격이 반응성 측면에서 최적임을 시사한다.