[논문 리뷰] Parameterized Decision-making with Multi-modal Perception for Autonomous Driving

Yuyang Xia, Shuncheng Liu외 5명|arXiv (Cornell University)|2023. 12. 19.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 자율주행을 위한 파rameterized 의사결정 프레임워크인 AUTO를 제안한다. 이는 그래프 기반 모델을 통해 고정밀 지도, 레이저 레인지센서, 카메라, GNSS/IMU 등 다중 모odal 인식을 통합하여 환경 적응성을 향상시킨다. 이는 두 단계의 액션 구조(차선 변경 결정 → 연속적 제어)와 안전성, 효율성, 편안함, 주변 차량에 대한 영향을 최적화하는 하이브리드 보상 함수를 사용하며, CARLA 시뮬레이션에서 거시적 및 미시적 지표 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Autonomous driving is an emerging technology that has advanced rapidly over the last decade. Modern transportation is expected to benefit greatly from a wise decision-making framework of autonomous vehicles, including the improvement of mobility and the minimization of risks and travel time. However, existing methods either ignore the complexity of environments only fitting straight roads, or ignore the impact on surrounding vehicles during optimization phases, leading to weak environmental adaptability and incomplete optimization objectives. To address these limitations, we propose a parameterized decision-making framework with multi-modal perception based on deep reinforcement learning, called AUTO. We conduct a comprehensive perception to capture the state features of various traffic participants around the autonomous vehicle, based on which we design a graph-based model to learn a state representation of the multi-modal semantic features. To distinguish between lane-following and lane-changing, we decompose an action of the autonomous vehicle into a parameterized action structure that first decides whether to change lanes and then computes an exact action to execute. A hybrid reward function takes into account aspects of safety, traffic efficiency, passenger comfort, and impact to guide the framework to generate optimal actions. In addition, we design a regularization term and a multi-worker paradigm to enhance the training. Extensive experiments offer evidence that AUTO can advance state-of-the-art in terms of both macroscopic and microscopic effectiveness.

연구 동기 및 목표

• 복잡한 도심 환경에서 기존 의사결정 프레임워크의 한계, 특히 낮은 환경 적응성과 불완전한 최적화 목표를 해결하기 위해.
• 고정밀 지도, 레이저 레인지센서, 카메라, 차량 센서에서 온 다중 모달 입력을 융합하여 의사결정의 강건성을 향상시키기 위해.
• 자율주행 차량의 행동이 주변 차량에 미치는 영향, 특히 차선 변경 시에 대해 모델링하여 교통 혼잡을 줄이기 위해.
• 차선 변경 결정과 실행을 분리하는 파rameterized 액션 구조를 통해 세밀하고 연속적인 제어를 가능하게 하기 위해.
• 안전성, 교통 효율성, 승객의 편안함, 최소한의 영향이라는 다중 목표를 하이브리드 보상 함수를 사용해 딥 강화학습 프레임워크 내에서 최적화하기 위해.

제안 방법

• 고정밀 지도, 레이저 레인지센서, 카메라, GNSS, IMU에서 온 데이터를 융합하여 차선, 차량, 신호등 등의 실시간 특징을 추출하는 종합적인 다중 모달 인식 스택.
• 다중 모달 입력에서 의미적 표현을 학습하는 그래프 기반 신경망으로, 교통 참가자와 인프라 간의 상호작용을 포괄한다.
• 파rameterized 액션 철학은 결정을 두 단계로 분해한다: 먼저 차선 변경 여부를 결정하고, 그 다음 연속적인 조향 및 속도 명령을 계산한다.
• 안전성, 교통 효율성, 승객의 편안함, 뒤차량에 대한 영향을 조합한 하이브리드 보상 함수로 정책 학습을 이끈다.
• 강화학습 학습의 안정성과 가속도를 높이기 위해 정규화 항과 다중 워커 학습 철학을 도입한다.
• 성능 평가를 위해 OpenDRIVE 지도와 합성 센서 데이터를 사용한 CARLA 시뮬레이터에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 센서와 고정밀 지도에서 온 다중 모달 인식을 효과적으로 융합하여 복잡한 도심 주행 환경에서의 환경 이해를 향상시킬 수 있는가?
• RQ2 이산 액션 공간에 비해 파rameterized 액션 구조가 의사결정 성능과 안전성에 얼마나 기여하는가?
• RQ3 주변 차량에 미치는 영향을 포함한 하이브리드 보상 함수는 더 효율적이고 방해가 적은 주행 행동을 이끌 수 있는가?
• RQ4 거시적 및 미시적 주행 지표에서 제안된 프레임워크는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 정규화 항과 다중 워커 학습 설정은 정책 수렴과 안정성에 어떤 기여를 하는가?

주요 결과

• AUTO는 CARLA 시뮬레이션에서 거시적 지표(예: 경로 완료율, 이동 시간)와 미시적 지표(예: 부드러움, 안전성) 모두에서 최신 기술 수준의 성능을 달성한다.
• 단순한 고속도로를 넘어서 복잡한 도심 시나리오를 효과적으로 처리함으로써 뛰어난 환경 적응성을 입증한다.
• 이산 액션 방법에 비해 파rameterized 액션 구조는 더 부드럽고 취소 가능한 차선 변경을 가능하게 하여 안전 위험을 감소시킨다.
• 보상 함수에 주변 차량에 대한 영향을 포함시킴으로써 더 협력적인 주행 행동이 유도되어 뒤차량의 지연 시간이 감소한다.
• 다중 워커 학습 설정과 정규화 항은 학습의 안정성과 수렴 속도를 크게 향상시킨다.
• 그래프 기반 인식 모델은 다중 모달 의미적 특징을 효과적으로 포착하여 상태 표현 학습의 강건성을 향상시킨다.