[논문 리뷰] Automated Driving Maneuvers under Interactive Environment based on Deep Reinforcement Learning

Pin Wang, Ching‐Yao Chan외 1명|arXiv (Cornell University)|2018. 03. 25.

Autonomous Vehicle Technology and Safety참고 문헌 12인용 수 12

한 줄 요약

이 논문은 상호작용적 주행 환경에서 안전하고 편안하며 효율적인 차선 변경 운전 행동을 학습하기 위해 연속 행동 Q함수 근사기와 함께 딥 Q러닝 프레임워크를 제안한다. 차량 동역학 지식을 통합하고 액터-크리틱 아키텍처를 피름으로써, 안정적인 학습과 향상된 주행 성능을 달성하였으며, 시뮬레이션에서 수렴하는 보상과 더 부드러운 제어 궤적을 통해 이를 입증하였다.

ABSTRACT

Safe and efficient autonomous driving maneuvers in an interactive and complex environment can be considerably challenging due to the unpredictable actions of other surrounding agents that may be cooperative or adversarial in their interactions with the ego vehicle. One of the state-of-the-art approaches is to apply Reinforcement Learning (RL) to learn a time-sequential driving policy, to execute proper control strategy or tracking trajectory in dynamic situations. However, direct application of RL algorithms is not satisfactorily enough to deal with the cases in the autonomous driving domain, mainly due to the complex driving environment and continuous action space. In this paper, we adopt Q-learning as our basic learning framework and design a unique format of the Q-function approximator that consists of neural networks to handle the continuous action space challenge. The learning model is present in a closed form of continuous control variables and trained in a simulation platform that we have developed with embedded properties of real-time vehicle interactions. The proposed algorithm avoids invoking an additional actor network that learns to take actions, as in actor-critic algorithms. At the same time, some prior knowledge of vehicle dynamics is also fed into the model to assist learning. We test our algorithm with a challenging use case - lane change maneuver, to verify the practicability and feasibility of the proposed approach. Results from accumulated rewards and vehicle performance show that RL vehicle agents successfully learn a safe, comfort and efficient driving policy as defined in the reward function.

연구 동기 및 목표

• 복잡하고 상호작용적인 주행 환경에서 연속 상태 및 행동 공간을 다룰 수 있는 강화학습 프레임워크를 개발한다.
• 연속 제어를 위한 폐쇄형 Q함수 근사기를 사용하여 액터-크리틱 네트워크의 복잡성을 피한다.
• 차량 동역학에 대한 사전 지식을 통합하여 정책 학습의 가속화와 안정성 향상에 기여한다.
• 고해상도 시뮬레이션 환경에서 도전적인 차선 변경 운전 행동을 활용하여 접근 방식을 검증한다.
• 보상 기반 학습을 통해 에이전트가 안전하고 편안하며 효율적인 주행 정책을 학습하는지를 입증한다.

제안 방법

• 딥 Q러닝에서 연속 행동을 모델링하기 위해 정규화된 우선도 함수를 사용한 이차형 Q함수 근사기를 사용한다.
• 폐쇄형으로 Q함수를 설계하여 별도의 액터 네트워크가 필요 없도록 하여 모델 복잡도를 감소시킨다.
• Q함수에 차량 동역학에 대한 사전 지식을 통합하여 샘플 효율성과 학습 안정성을 향상시킨다.
• 실시간 차량 상호작용과 동적 교통 시나리오를 모의하는 커스터마이징된 시뮬레이션 플랫폼에서 모델을 학습시킨다.
• 안전한 근접도, 불편함(고가속도), 비효율성(긴 운전 시간)에 대한 벌점을 주는 보상 함수를 적용한다.
• 경험 재생과 타겟 네트워크 기법을 사용하여 학습을 안정화시키며, 수렴 여부를 확인하기 위해 손실 및 보상 곡선을 모니터링한다.

실험 결과

연구 질문

• RQ1 연속 상태 및 행동 공간을 가진 동적인 상호작용적 교통 환경에서 딥 Q러닝 에이전트는 안전하고 효율적인 차선 변경 정책을 학습할 수 있는가?
• RQ2 차량 동역학 지식을 통합할 경우 정책 학습 속도와 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 폐쇄형 Q함수 근사기는 자율 주행의 연속 제어에서 액터-크리틱 또는 이산 행동 접근 방식보다 우수한 성능을 보이는가?
• RQ4 학습 과정을 거쳐 에이전트의 주행 행동이 얼마나 향상되는가? 보상과 제어의 부드러움을 기준으로 측정한다.
• RQ5 학습된 정책이 다양한 테스트 차량에 대해 일반화 가능한가? 이는 정책의 강건성과 전이 가능성에 대한 근거가 된다.

주요 결과

• 학습 손실 곡선은 명확한 수렴을 보이며, 예측된 Q값이 시간이 지남에 따라 타겟 값과 매우 가까워짐을 나타낸다.
• 개별 차량의 총 보상은 점차 증가하여 더 높은 수준에서 안정화되며, 벌점 최소화 성능 향상을 시사한다.
• 모델당 100대의 테스트 차량에 대한 평균 총 보상은 학습 스텝이 증가함에 따라 일관되게 증가하며, 정책 향상가능성을 확인한다.
• 최종 모델(400,000 스텝)의 야워 가속도 및 야워 속도 곡선은 초기 모델(40,000 스텝)에 비해 더 매끄럽고 보수적인 변화를 보이며, 더 나은 주행 편안함을 나타낸다.
• 차량 에이전트는 보상 함수에서 정의된 바와 같이 안전성, 편안함, 효율성을 균형 잡는 정책을 성공적으로 학습하였다.
• 추가 액터 네트워크가 필요 없어져 학습 복잡도가 감소하였고, 안정적이고 효과적인 정책 학습이 이뤄졌다.