[논문 리뷰] Hierarchical Reinforcement Learning Method for Autonomous Vehicle Behavior Planning

Zhiqian Qiao, Zachariah Tyree외 3명|arXiv (Cornell University)|2019. 11. 09.

Reinforcement Learning in Robotics참고 문헌 23인용 수 7

한 줄 요약

이 논문은 자율주행차 행동계획을 위한 계층적 강화학습(HRL) 프레임워크를 제안하며, 앞차 따라가기나 정류장 정지와 같은 여러 하위목표를 모듈러하고 주의 기반 아키텍처를 통해 효율적으로 학습할 수 있도록 한다. 이 방법은 하이브리드 보상 메커니즘과 계층적 우선순위 경험 재생을 사용하여 기존 강화학습 대비 더 빠른 수렴과 향상된 샘플 효율성을 달성하며, 작업 간 전이에 유용한 재사용 가능한 하위정책 모듈을 제공한다.

ABSTRACT

In this work, we propose a hierarchical reinforcement learning (HRL) structure which is capable of performing autonomous vehicle planning tasks in simulated environments with multiple sub-goals. In this hierarchical structure, the network is capable of 1) learning one task with multiple sub-goals simultaneously; 2) extracting attentions of states according to changing sub-goals during the learning process; 3) reusing the well-trained network of sub-goals for other similar tasks with the same sub-goals. The states are defined as processed observations which are transmitted from the perception system of the autonomous vehicle. A hybrid reward mechanism is designed for different hierarchical layers in the proposed HRL structure. Compared to traditional RL methods, our algorithm is more sample-efficient since its modular design allows reusing the policies of sub-goals across similar tasks. The results show that the proposed method converges to an optimal policy faster than traditional RL methods.

연구 동기 및 목표

• 기존 강화학습 기법이 다중 하위목표를 처리할 때 느린 수렴과 열악한 샘플 효율성 등의 한계를 해결하기 위해.
• 앞차 따라가기나 정류장 정지와 같은 다양한 주행 행동을 모듈러하게 학습할 수 있는 계층적 딥강화학습 구조를 개발하기 위해.
• 공유된 계층적 프레임워크 내에서 하위목표 정책을 분리함으로써 유사 작업 간 정책 재사용성을 높이기 위해.
• 다양한 계층적 의사결정 수준에서의 성능 평가를 효과적으로 수행하기 위해 하이브리드 보상 메커니즘을 설계하기 위해.
• HRL에 특화된 계층적 우선순위 경험 재생 메커니즘을 통해 학습 안정성과 효율성을 향상시키기 위해.

제안 방법

• 프레임워크는 이중 수준의 HRL 아키텍처를 사용한다: 고수준 옵션 네트워크가 하위목표(예: 정류장 정지, 앞차 따라가기)를 선택하고, 저수준 정책이 선택된 옵션에 따라 동작을 수행한다.
• 상태 주의 메커니즘이 현재 하위목표에 따라 거리 측정값(예: 앞차와의 거리, 정류장까지의 거리)과 같은 관련 상태 특징 간의 집중을 동적으로 전환한다.
• 하이브리드 보상 함수는 저수준에서의 조밀한 형태의 보상과 고수준에서의 희박한, 작업에 특화된 보상의 조합으로 구성되어, 계층적 의사결정 계층 간 학습을 이끌어낸다.
• 계층적 우선순위 경험 재생(H-PER) 메커니즘은 고수준 및 저수준 정책 업데이트에 가장 정보가 많은 전이를 우선순위로 배정함으로써 샘플 효율성을 향상시킨다.
• 모델은 정책 학습을 위해 딥 Q네트워크(DQN 및 DDQN)를 사용하며, 동작 수준 정책(예: 앞차 따라가기)과 옵션 수준 정책(예: 정지 또는 따라가기 중 선택)을 별도로 훈련한다.
• 아키텍처는 모듈러한 배포를 가능하게 하며, 훈련된 하위정책(예: 앞차 따라가기)을 전체 시스템을 재훈련하지 않고도 새로운 작업에서 독립적으로 재사용할 수 있다.

실험 결과

연구 질문

• RQ1 계층적 강화학습 프레임워크는 하나의 통합 훈련 과정 내에서 정류장 정지나 앞차 따라가기와 같은 다양한 자율주행차 행동 하위목표를 효과적으로 학습할 수 있는가?
• RQ2 상태 주의 메커니즘의 통합이 동적인 주행 환경에서 정책의 일반화 능력과 적응 능력을 어떻게 향상시키는가?
• RQ3 기본적인 조밀한 보상 또는 희박한 보상 함수 대비 하이브리드 보상 메커니즘이 학습 효율성과 수렴 속도 향상에 얼마나 기여하는가?
• RQ4 복잡한 주행 환경에서 기존 딥강화학습 대비 제안된 HRL 프레임워크가 더 높은 샘플 효율성과 더 빠른 수렴을 달성할 수 있는가?
• RQ5 훈련된 하위정책이 다양한 작업 간에 얼마나 잘 재사용될 수 있는가? 이는 자율주행차의 모듈러하고 확장 가능한 행동 계획을 가능하게 하는가?

주요 결과

• 제안된 하이브리드 HRL 방법은 기존 강화학습 기법 대비 더 빠른 최적 정책 수렴을 달성했으며, 성능 향상 속도가 더 빠른 훈련 곡선을 통해 입증되었다.
• 계층적 우선순위 경험 재생(H-PER) 메커니즘이 샘플 효율성을 크게 향상시켜 높은 성능에 도달하기 위한 훈련 단계 수를 감소시켰다.
• 주목기반 메커니즘이 현재 하위목표에 따라 상태 특징(예: 앞차와의 거리, 정류장까지의 거리) 간의 집중을 동적으로 전환하여 정책의 강건성을 향상시켰다.
• 앞차 따라가기(FFV) 정책은 테스트에서 98%의 성공률을 기록했으며, 정류장 정지 정책(SSL)은 95%의 성공률을 달성하여 고립된 작업에서 높은 신뢰성을 입증했다.
• 환경 조건에 따라 FFV와 SSL 중 선택하는 옵션 수준 정책은 복잡한 교차로 시나리오에서 92%의 성공률을 기록했으며, 수작업 설계된 규칙 기반 시스템을 능가했다.
• 모듈러한 설계 덕분에 FFV 정책이 재훈련 없이도 새로운 작업에서 재사용 가능했으며, 이는 프레임워크의 확장성과 다양한 주행 행동 간 이식 가능성의 확인을 의미한다.