[논문 리뷰] Driving Decision and Control for Autonomous Lane Change based on Deep Reinforcement Learning

Tianyu Shi, Pin Wang외 3명|arXiv (Cornell University)|2019. 04. 23.

Traffic control and management참고 문헌 15인용 수 18

한 줄 요약

이 논문은 이차 함수 근사와 함께 딥 Q-네트워크를 사용하여 결정(차선 변경 여부)과 제어(경로 생성 및 경로 추적)를 통합하는 딥 강화학습 프레임워크를 제안한다. 이 방법은 시뮬레이션에서 안전하고 편안한 차선 변경을 달성하며, 풍부한 추적 제어와 다항식 경로 계획을 통한 엔드 투 엔드 학습을 통해 뛰어난 성능을 보인다.

ABSTRACT

We apply Deep Q-network (DQN) with the consideration of safety during the task for deciding whether to conduct the maneuver. Furthermore, we design two similar Deep Q learning frameworks with quadratic approximator for deciding how to select a comfortable gap and just follow the preceding vehicle. Finally, a polynomial lane change trajectory is generated and Pure Pursuit Control is implemented for path tracking. We demonstrate the effectiveness of this framework in simulation, from both the decision-making and control layers. The proposed architecture also has the potential to be extended to other autonomous driving scenarios.

연구 동기 및 목표

• 딥 강화학습을 사용하여 자율 차선 변경을 위한 통합된 결정 및 제어 프레임워크를 개발한다.
• DQN 기반의 결정 정책을 통해 차선 변경 동작 중 안전성을 확보한다.
• 다항식 피팅을 사용하여 편안하고 부드러운 경로를 생성한다.
• 순수 추적 제어를 사용하여 정밀한 경로 추적을 구현한다.
• 결정 및 제어 계층에서의 프레임워크 효과성을 시뮬레이션을 통해 검증한다.

제안 방법

• 이차 함수 근사를 사용한 딥 Q-네트워크(DQN)를 활용해 안전한 차선 변경 결정을 학습한다.
• 두 개의 별도 DQN 프레임워크를 활용: 하나는 간격 선택을 위한 것이고, 다른 하나는 앞차량을 따라가는 것을 위한 것이다.
• 다항식 기반의 차선 변경 경로를 생성하여 부드럽고 편안한 운동을 보장한다.
• 생성된 경로의 정확한 추적을 위해 순수 추적 제어를 적용한다.
• 전체 시스템을 시뮬레이션 주행 환경에서 엔드 투 엔드로 학습한다.
• 훈련 중 DQN 보상 함수에 직접적으로 안전성 고려사항을 통합한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 복잡한 교통 환경에서 안전하고 편안한 차선 변경 결정을 효과적으로 학습할 수 있는가?
• RQ2 이차 함수 근사를 사용한 DQN 기반 프레임워크는 다양한 교통 조건에서 차선 변경 결정에 대해 얼마나 잘 일반화되는가?
• RQ3 다항식 경로 계획은 자율 차선 변경의 편안함과 부드러움을 어느 정도 향상시키는가?
• RQ4 순수 추적 제어는 시뮬레이션에서 생성된 경로를 신뢰성 있게 추적할 수 있는가?
• RQ5 제안된 프레임워크는 차선 변경 외의 다른 자율 주행 시나리오로 확장 가능한가?

주요 결과

• DQN 기반의 결정 정책는 안전한 간격이 확보된 경우에만 차선 변경을 시작하는 것을 효과적으로 학습하여 충돌 위험을 최소화했다.
• 이차 함수 근사를 사용함으로써 표준 DQN에 비해 정책의 안정성과 수렴 성능이 향상되었다.
• 다항식 경로 생성은 원활하고 제동력 최소화된 운동을 만들어내어 탑승자 편안함을 향상시켰다.
• 순수 추적 제어는 시뮬레이션에서 낮은 횡방향 오차로 정확한 경로 추적을 달성했다.
• 통합된 프레임워크는 다양한 시뮬레이션 시나리오에서 뛰어난 성능을 보이며, 결정 및 제어 계층 모두에서 효과성을 입증했다.
• 이 방법은 융합 및 추월과 같은 다른 자율 주행 작업으로의 확장 가능성도 보였다.