[논문 리뷰] Learning hierarchical behavior and motion planning for autonomous driving

Jingke Wang, Yue Wang외 3명|arXiv (Cornell University)|2020. 05. 08.

Reinforcement Learning in Robotics참고 문헌 34인용 수 7

한 줄 요약

이 논문은 자율주행을 위한 계층적 행동 및 운동 계획(HBMP) 프레임워크를 제안하며, 샘플링 기반 운동 계획기의 최적 비용을 고수준 행동 강화학습(RL)의 조밀한 보상으로 통합하여 전략적 의사결정을 향상시킨다. 행동 계획과 운동 계획을 분리하고, 빠른 시뮬레이터(SUMO)에서의 암시적 학습으로 RL을 초기화함으로써 효율적인 훈련과 뛰어난 일반화 성능을 달성하여, 최적화 없이도 실제 주행 환경으로 성공적으로 전이된다.

ABSTRACT

Learning-based driving solution, a new branch for autonomous driving, is expected to simplify the modeling of driving by learning the underlying mechanisms from data. To improve the tactical decision-making for learning-based driving solution, we introduce hierarchical behavior and motion planning (HBMP) to explicitly model the behavior in learning-based solution. Due to the coupled action space of behavior and motion, it is challenging to solve HBMP problem using reinforcement learning (RL) for long-horizon driving tasks. We transform HBMP problem by integrating a classical sampling-based motion planner, of which the optimal cost is regarded as the rewards for high-level behavior learning. As a result, this formulation reduces action space and diversifies the rewards without losing the optimality of HBMP. In addition, we propose a sharable representation for input sensory data across simulation platforms and real-world environment, so that models trained in a fast event-based simulator, SUMO, can be used to initialize and accelerate the RL training in a dynamics based simulator, CARLA. Experimental results demonstrate the effectiveness of the method. Besides, the model is successfully transferred to the real-world, validating the generalization capability.

연구 동기 및 목표

• 행동 계획을 계층적 구성요소로 명시적으로 모델링하여 학습 기반 자율주행의 전략적 의사결정을 향상시키기.
• 장기적인 주행 작업에서 결합된 행동 공간 문제를 해결하기 위해 HBMP를 고수준 행동 학습 문제로 재구성하기.
• 최적의 운동 계획기 비용을 조밀하고 정보적인 보상으로 사용하여 효율적이고 안정적인 RL 훈련을 가능하게 하기.
• 빠른 이벤트 기반 시뮬레이터(SUMO)에서의 암시적 학습 정책으로 초기화하여 RL 정책 훈련을 가속화하기.
• 시뮬레이션 및 실제 환경 플랫폼 간에 공유 가능한 감지 표현을 설계하여 실제 환경으로의 일반화 보장하기.

제안 방법

• 전통적인 샘플링 기반 운동 계획기의 최적 비용에서 유도된 보상을 사용하여 HBMP 문제를 동등한 고수준 행동 학습 문제로 재구성하기.
• 예를 들어 RRT*와 같은 샘플링 기반 운동 계획기를 사용하여 각 행동 결정에 대한 최적 궤적 비용을 계산하고, 이를 고수준 행동 정책의 보상 신호로 사용하기.
• SUMO와 CARLA 시뮬레이션 플랫폼 및 실제 환경에서 일관된 표현을 가지는 변형된 점유 지ap 표현 $M_t$를 도입하여 플랫폼 간 정책 전이 가능하게 하기.
• 공유된 $M_t$ 표현을 사용하여 SUMO에서 사전 훈련된 암시적 학습 정책으로 초기화된 PPO를 사용해 CARLA에서 행동 정책를 딥 강화학습으로 훈련하기.
• 행동 계획과 운동 계획을 분리하기: 고수준 정책이 행동(예: 차선 변경, 속도 증가)을 선택하고, 저수준 운동 계획기가 이를 실행하기 위한 궤적을 생성하기.
• 도메인 랜덤라이제이션과 센서 노이즈 증강을 적용하여 실제 환경 배포 시의 내구성 향상시키기.

실험 결과

연구 질문

• RQ1 샘플링 기반 운동 계획기의 최적 비용을 조밀한 보상으로 통합하면, 장기적인 주행 작업에서 고수준 행동 정책 학습의 샘플 효율성과 수렴 속도가 향상되는가?
• RQ2 제안된 공유 가능한 감지 표현($M_t$)이 빠른 이벤트 기반 시뮬레이터(SUMO)에서 고정밀도 역학 시뮬레이터(CARLA)로 정책 전이 및 최종적으로 실제 환경 배포에 얼마나 효과적인가?
• RQ3 명시적인 행동 모델링이 없는 엔드 투 엔드 학습 기반 방법에 비해 HBMP 프레임워크는 전략적 의사결정을 어느 정도 향상시키는가?
• RQ4 훈련된 정책은 도시 환경(Town1에서 Town5까지)의 다양성에 일반화되어 있으며, 재훈련 없이도 동적 교통 참가자를 처리할 수 있는가?
• RQ5 공유 감지 표현을 통한 도메인 적응만으로 최적화 없이도 실제 환경에 학습된 정책을 구현할 수 있는가?

주요 결과

• HBMP 정책는 CARLA 벤치마크에서 Town1에서 95%의 성공률, Town2에서 88%의 성공률를 기록하여 기준 방법보다 뚜렷이 뛰어나다.
• Town1에서 Town5까지의 교차 환경 테스트에서 모든 지도에서 85% 이상의 성공률를 기록하여 강력한 일반화 능력을 입증했다.
• 실제 차량 테스트에서는 이중 및 곡선 차선이 있는 700m 캠퍼스 노선을 안정적으로 주행하며 차선 유지 및 안전한 추월 조작을 인간 간섭 없이 성공적으로 수행했다.
• 자전거 기사가 있는 동적 상황에서 차량은 올바르게 속도 감소 및 증가 행동을 수행했고, 급작스러운 브레이킹 없이 여러 번의 자율적 차선 변경을 성공적으로 수행했다.
• 모델은 최적화 없이도 시뮬레이션에서 실제 환경으로 직접 전이되었으며, 이는 공유 감지 표현 $M_t$의 효과성을 검증했다.
• CARLA에서의 훈련 및 테스트 시나리오에서 모두 뛰어난 성능을 기록했으며, 운동 계획기에서 유도된 조밀한 보상 덕분에 더 빠르고 안정적인 RL 수렴이 가능했다.