[논문 리뷰] Learning predictive representations in autonomous driving to improve deep reinforcement learning

Daniel Graves, Nhat M. Nguyen외 2명|arXiv (Cornell University)|2020. 06. 26.

Autonomous Vehicle Technology and Safety참고 문헌 32인용 수 9

한 줄 요약

이 논문은 자율 주행을 위한 딥 강화 학습을 향상시키기 위해 일반가치함수(GVFs)를 사용하여 정책 외 예측 표현을 학습하는 것을 제안한다. 특히 향후 차선 중심성과 도로 각도를 예측함으로써, 다양한 도로 조건에서 학습하고 다중 스케일 예측을 압축된 상태 표현으로 사용함으로써 일반화 능력 향상, 더 부드러운 제어, 그리고 시뮬레이션 및 실제 테스트에서 미리 보지 못한 또는 손상된 차선 마킹이 있는 도로에서도 강건한 성능을 달성한다. 이는 잭럴 로봇을 대상으로 실시한 실험에서 입증되었다.

ABSTRACT

Reinforcement learning using a novel predictive representation is applied to autonomous driving to accomplish the task of driving between lane markings where substantial benefits in performance and generalization are observed on unseen test roads in both simulation and on a real Jackal robot. The novel predictive representation is learned by general value functions (GVFs) to provide out-of-policy, or counter-factual, predictions of future lane centeredness and road angle that form a compact representation of the state of the agent improving learning in both online and offline reinforcement learning to learn to drive an autonomous vehicle with methods that generalizes well to roads not in the training data. Experiments in both simulation and the real-world demonstrate that predictive representations in reinforcement learning improve learning efficiency, smoothness of control and generalization to roads that the agent was never shown during training, including damaged lane markings. It was found that learning a predictive representation that consists of several predictions over different time scales, or discount factors, improves the performance and smoothness of the control substantially. The Jackal robot was trained in a two step process where the predictive representation is learned first followed by a batch reinforcement learning algorithm (BCQ) from data collected through both automated and human-guided exploration in the environment. We conclude that out-of-policy predictive representations with GVFs offer reinforcement learning many benefits in real-world problems.

연구 동기 및 목표

• 학습 데이터를 초월하여 자율 주행에서 딥 강화 학습 정책의 일반화 능력을 향상시키기 위해.
• 정책 외 예측 표현이 실제 환경에서 학습 효율성과 강건성 향상에 기여하는지 조사하기 위해.
• 다양한 할인 요인을 가진 다중 스케일 예측 표현이 제어의 부드러움과 성능에 미치는 영향을 평가하기 위해.
• GVF 기반 표현이 오프라인 및 온라인 강화 학습 설정 모두에서 효과적인지 입증하기 위해.
• 다양하고 새로운 도로 조건에서 실제 로봇(Jackal)을 대상으로 접근법을 검증하기 위해.

제안 방법

• 미래의 차선 중심성과 도로 각도에 대한 반사적 정책 외 예측을 학습하기 위해 일반가치함수(GVFs)를 활용한다.
• 자동화된 탐색과 인간 주행 탐색에서 수집한 데이터를 바탕으로 시간 차분 학습을 사용해 예측 표현을 학습한다.
• 학습된 GVF 예측을 주 정책 네트워크의 압축되고 정보적인 상태 표현으로 사용한다.
• 예측 상태 표현을 사용하여 배치 오프라인 강화 학습(BCQ)을 적용해 주행 정책을 훈련한다.
• 다양한 할인 요인(예: 0.25, 0.4)을 가진 다중 GVF 헤드를 설계하여 다양한 시간 간격의 예측을 포괄한다.
• 먼저 GVF 사전 훈련을 수행하고, 그 다음 BCQ를 통한 정책 학습을 수행하는 이중 단계 훈련 파이프라인으로 예측 표현을 통합한다.

실험 결과

연구 질문

• RQ1 GVFs를 통해 학습된 예측 표현은 자율 주행에서 미리 보지 못한 도로에 대한 정책 일반화를 향상시키는가?
• RQ2 다양한 할인 요인을 가진 다중 스케일 예측(다양한 할인 요인)은 제어의 부드러움과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 정책 외 예측 표현을 사용하면 오프라인 강화 학습 설정에서 성능 향상이 이루어지는가?
• RQ4 GVF 기반 정책은 손상되거나 없는 차선 마킹에 얼마나 강건한가?
• RQ5 보상, 속도, 제어 품질 측면에서 GVF 기반 방법은 엔드 투 엔드 일관성 학습(E2E)보다 어떻게 비교되는가?

주요 결과

• GVF-BCQ 방법은 사각형 테스트 도로에서 1초당 평균 보상 2.6835를 기록하여 E2E-BCQ(1.2578)를 크게 앞서며 뛰어난 학습 효율성을 입증했다.
• 손상된 마킹이 있는 타원형 도로에서 GVF-BCQ는 표준화된 이탈 정도를 0.2754로 유지했고, E2E-BCQ는 0.3285로 증가하여 더 뛰어난 강건성을 보였다.
• GVF-0.4-CCW 정책는 일阶 속도 편안함을 -1.3403, 이阶 조향 편안함을 -1.3403로 기록하여 MPC 기반 기준보다 더 부드러운 제어 성능을 보였다.
• 손상된 차선 마킹이 있는 복잡한 형태의 도로에서 GVF-BCQ 방법은 차선 이탈 사건 수를 E2E의 0.0942에서 0.0으로 감소시켜 더 뛰어난 안정성과 안전성을 입증했다.
• GVF 헤드에 다수의 할인 요인(예: 0.25 및 0.4)을 사용함으로써 단일 스케일 예측보다 더 부드러운 제어와 더 나은 일반화 성능을 달성했다.
• GVF 기반 방법은 훈련 중에 볼 수 없었던 도로, 특히 누락되거나 손상된 차선 마킹이 있는 도로에 효과적으로 일반화되었으며, 이는 강력한 분포 외 일반화 능력을 확인한다.