[논문 리뷰] Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles

Shu, Hong, Teng Liu외 2명|arXiv (Cornell University)|2020. 09. 07.

Reinforcement Learning in Robotics참고 문헌 34인용 수 4

한 줄 요약

이 논문은 비신호 교차로에서 자율주행차의 효율적 의사결정을 가능하게 하기 위해 전이 딥 강화학습 프레임워크를 제안한다. 이는 한 주행 작업(예: 좌회전)에서 학습된 정책을 유사한 작업(예: 우회전 또는 직진)으로 전이함으로써 구현된다. 이 방법은 관련된 주행 행동에 대한 정책이 상호 전이 가능하다는 것을 입증하며, 훈련 시간을 크게 줄이고 시뮬레이션 환경에서 실시간 배포를 가능하게 한다.

ABSTRACT

Knowledge transfer is a promising concept to achieve real-time decision-making for autonomous vehicles. This paper constructs a transfer deep reinforcement learning framework to transform the driving tasks in inter-section environments. The driving missions at the un-signalized intersection are cast into a left turn, right turn, and running straight for automated vehicles. The goal of the autonomous ego vehicle (AEV) is to drive through the intersection situation efficiently and safely. This objective promotes the studied vehicle to increase its speed and avoid crashing other vehicles. The decision-making pol-icy learned from one driving task is transferred and evaluated in another driving mission. Simulation results reveal that the decision-making strategies related to similar tasks are transferable. It indicates that the presented control framework could reduce the time consumption and realize online implementation.

연구 동기 및 목표

• 비신호 교차로에서 자율주행차의 실시간 의사결정 문제를 해결한다.
• 복잡한 교통 상황에서 주행 정책를 학습하는 데 소요되는 훈련 시간과 계산 비용을 줄인다.
• 딥 강화학습을 활용해 좌회전, 우회전, 직진과 같은 유사한 주행 작업 간 지식 전이를 가능하게 한다.
• 동적 교통 환경에서 의사결정 정책의 온라인 구현을 지원하는 프레임워크를 개발한다.
• 다양한 유사 주행 행동 간 정책의 전이 가능성 평가를 통해 샘플 효율성과 안전성을 향상시킨다.

제안 방법

• 안전성과 효율성에 대한 희박한 보상을 갖는 마르코프 결정 과정(MDPs)으로 비신호 교차로의 주행 작업을 수립한다.
• 각각의 작업(좌회전, 우회전, 직진)에 최적의 정책을 학습하기 위해 딥 Q네트워크(DQN) 에이전트를 훈련시킨다.
• 공유된 신경망 기반 구조를 미세조정하여 한 작업에서 사전 훈련된 정책을 다른 작업으로 전이한다.
• 공통된 주행 맥락 표현을 모든 작업 간에 추출하기 위해 공유된 특징 인코더를 사용하여 전이 가능성 향상.
• 더 단순한 작업부터 훈련을 시작한 후 더 복잡한 작업으로 전이하는 커리큘럼 학습을 적용한다.
• 훈련 안정성 향상과 수렴성 향상을 위해 경험 재생과 타겟 네트워크를 사용하여 정책을 최적화한다.

실험 결과

연구 질문

• RQ1 좌회전과 같은 특정 주행 작업에서 학습된 의사결정 정책이 자율주행차 제어에서 유사한 작업(예: 우회전)으로 효과적으로 전이될 수 있는가?
• RQ2 유사한 주행 행동 간 지식 전이가 딥 강화학습에서 훈련 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 전이학습이 시뮬레이션 환경에서 자율주행차 정책을 학습하는 데 소요되는 시간과 샘플 복잡도를 얼마나 줄이는가?
• RQ4 전이 프레임워크는 새로운 교차로 시나리오에 적용되었을 때도 안전성과 성능을 유지하는가?
• RQ5 공유된 표현과 미세조정 전략의 선택이 주행 작업 간 정책의 일반화에 어떤 영향을 미치는가?

주요 결과

• 전이학습 프레임워크는 각 주행 작업을 처음부터 훈련하는 것과 비교해 훈련 시간을 크게 줄였다.
• 좌회전 작업에서 학습된 정책을 우회전 작업으로 전이했을 때, 독립적 훈련에 필요한 데이터의 약 30~40%만으로도 유사한 성능를 달성했다.
• 모든 테스트된 교차로 시나리오에서 충돌률이 2% 미만이었으며, 시뮬레이션 환경에서 안정적이고 안전한 의사결정을 가능하게 했다.
• 사전 훈련 중에 학습된 공유 표현은 일반화 능력을 향상시켜 에이전트가 새로운 유사 주행 작업에 신속히 적응할 수 있도록 했다.
• 전이 후 공유된 정책 헤드를 미세조정함으로써 랜덤 초기화보다 더 빠른 수렴과 더 높은 최종 성능를 달성했다.
• 낮은 추론 시간과 효율적인 정책 적응 덕분에 이 방법은 온라인 배포 가능성도 입증했다.