[논문 리뷰] A Hierarchical Architecture for Sequential Decision-Making in Autonomous Driving using Deep Reinforcement Learning

Majid Moghadam, Gabriel Hugh Elkaim|arXiv (Cornell University)|2019. 06. 20.

Autonomous Vehicle Technology and Safety참고 문헌 12인용 수 14

한 줄 요약

이 논문은 자율주행 주행 의사결정을 위한 계층적 딥 강화학습(DRL) 아키텍처를 제안한다. 여기서 DRL 에이전트는 점유 격자 표현을 사용하여 고수준의 차선 변경 명령을 생성함으로써 엔드 투 엔드 방법보다 신뢰성을 향상시킨다. 이 방법은 다양한 교통 밀도를 가진 확률적 고속도로 환경에서 볼 수 없는 시나리오에서도 충돌 없는 주행에서 100% 평가 정확도를 달성하여 뛰어난 성능을 보였다.

ABSTRACT

Tactical decision making is a critical feature for advanced driving systems, that incorporates several challenges such as complexity of the uncertain environment and reliability of the autonomous system. In this work, we develop a multi-modal architecture that includes the environmental modeling of ego surrounding and train a deep reinforcement learning (DRL) agent that yields consistent performance in stochastic highway driving scenarios. To this end, we feed the occupancy grid of the ego surrounding into the DRL agent and obtain the high-level sequential commands (i.e. lane change) to send them to lower-level controllers. We will show that dividing the autonomous driving problem into a multi-layer control architecture enables us to leverage the AI power to solve each layer separately and achieve an admissible reliability score. Comparing with end-to-end approaches, this architecture enables us to end up with a more reliable system which can be implemented in actual self-driving cars.

연구 동기 및 목표

• 확률적 교통 조건 하에서 자율주행의 신뢰할 수 있는 고수준 의사결정 문제를 해결하기 위해.
• 계층적 아키텍처를 통해 고수준 의사결정을 저수준 제어에서 분리하여 시스템의 신뢰성을 향상시키기 위해.
• 엔드 투 엔드 DRL 접근법을 대체할 모듈식이고 해석 가능한 프레임워크를 제공하여 실생활 배포 시 안전성과 일반화 능력을 향상시키기 위해.
• 모의 고속도로 환경에서 다양한 DRL 알고리즘(DQN, DDQN)과 신경망 아키텍처의 성능을 평가하기 위해.

제안 방법

• 에이전트는 2차원 점유 격자를 상태 표현으로 사용하여 주변 차량의 위치를 자기 차량에 대해 상대적으로 인코딩한다.
• 상태 공간은 자기 차량의 차선 ID를 이진 벡터로 인코딩하여 일관된 상태 표현을 유지하기 위해 보강된다.
• 학습을 안정화시키기 위해 경험 재생과 타겟 네트워크를 사용하여 딥 Q-네트워크(DQN)와 더블 딥 Q-네트워크(DDQN)를 훈련시킨다.
• 최적의 모델 복잡도를 도출하기 위해 얕은, 중간, 깊은 세 가지 신경망 아키텍처를 평가한다.
• 충돌을 방지하고 안전한 차선 변경을 장려하는 보상 함수를 사용하며, 성능은 100개의 에피소드 동안의 평균 누적 보상으로 추적된다.
• 가장 뛰어난 성능을 보인 에이전트(층간 16개의 뉴런을 가진 DDQN)는 100,000단계에 걸쳐 일반화 및 충돌 없는 성능을 평가하기 위해 테스트된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 방법과 비교해 계층적 DRL 아키텍처가 자율주행 의사결정의 신뢰성 향상에 기여하는가?
• RQ2 신경망의 깊이 선택이 고수준 차선 변경 의사결정에서 DRL 성능에 어떤 영향을 미치는가?
• RQ3 점유 격자 상태 표현을 사용하면 확률적 고속도로 환경에서 더 나은 일반화와 안전성 달성에 기여하는가?
• RQ4 DQN과 DDQN 간의 다양한 DRL 알고리즘에서 학습 속도와 최종 정확도 사이의 성능 트레이드오프는 어떠한가?
• RQ5 에이전트는 볼 수 없는 시나리오에서 100% 평가 정확도를 달성할 수 있는가? 이는 강력한 일반화 능력과 신뢰성을 시사하는가?

주요 결과

• 층간 16×16 네트워크 아키텍처를 가진 DDQN 에이전트가 가장 우수한 성능-속도 트레이드오프를 보였으며, DQN과 더 깊은 네트워크보다 뛰어난 성능을 보였다.
• 모든 훈련된 에이전트가 100,000단계 동안 100% 평가 정확도를 달성하여, 볼 수 없는 시나리오에서 완벽한 일반화와 충돌 없는 성능을 보였다.
• 얕은 네트워크(32개의 뉴런)가 중간 및 깊은 아키텍처보다 훈련 중 더 뛰어난 성능을 보였으며, 이는 이 상태 표현에 대해 단순한 모델이 충분함을 시사한다.
• DDQN은 DQN보다 더 빠르게 수렴하고 더 높은 피크 보상에 도달했으며, 이는 더블 Q-학습이 과대평가 편향을 줄이는 데 유용함을 확인한다.
• 점유 격자를 입력으로 사용함으로써 일관된 상태 표현이 유지되고 해석 가능성도 향상되어 복잡한 교통 상황에서의 안정적인 의사결정을 지원한다.
• 계층적 아키텍처는 고수준 의사결정과 저수준 제어를 성공적으로 분리하여 모듈식이고 신뢰성 있으며 안전한 자율주행 행동을 가능하게 했다.