[논문 리뷰] Learning to Drive Small Scale Cars from Scratch.

Ari Viitala, Rinu Boney외 1명|arXiv (Cornell University)|2020. 08. 03.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 소규모 자율 주행 차량을 희소 보상과 함께 강화학습을 사용하여 트랙 주변을 운전하도록 훈련시키는 방법을 제안한다. 이는 소프트 액터-크리틱(SAC)과 변분 오토에ncoder(VAE) 기반 상태 표현 학습을 활용한다. 이 방법은 원시 단일 카메라 영상 관측에서부터 끝내기까지 종단간 훈련을 가능하게 하며, 시뮬레이션 및 실제 트랙에서 각각 10분 이내의 실제 경험만으로도 견고한 주행 성능을 달성한다.

ABSTRACT

We consider the problem of learning to drive low-cost small scale cars using reinforcement learning. It is challenging to handle the long-tailed distributions of events in the real-world with handcrafted logical rules and reinforcement learning could be a potentially more scalable solution to deal with them. We adopt an existing platform called Donkey car for low-cost repeatable and reproducible research in autonomous driving. We consider the task of learning to drive around a track, given only monocular image observations from an on-board camera. We demonstrate that the soft actor-critic algorithm combined with state representation learning using a variational autoencoder can learn to drive around randomly generated tracks on the Donkey car simulator and a real-world track using the Donkey car platform. Our agent can learn from scratch using sparse and noisy rewards within just 10 minutes of driving experience.

연구 동기 및 목표

• 손으로 만든 규칙 대신 강화학습을 사용하여 소규모 차량을 위한 확장 가능하고 저비용의 자율 주행 솔루션을 개발한다.
• 실생활 주행 이벤트의 긴 尾(꼬리) 분포 문제를 데이터 기반 학습을 통해 해결한다.
• 희소하고 노이즈가 많은 보상 조건에서 원시 단일 카메라 영상 관측에서 종단간 훈련을 가능하게 한다.
• 시뮬레이션에서 무작위로 생성된 트랙과 실제 환경에서의 도나키 카 플랫폼에 대한 일반화 능력을 입증한다.
• 단지 10분 이내의 주행 경험으로도 높은 성능을 달성한다.

제안 방법

• 저비용이고 재현 가능한 자율 주행 실험을 위해 도나키 카 플랫폼을 사용한다.
• 정책 학습의 유일한 입력으로 단일 카메라 영상 관측을 사용한다.
• 희소 보상 조건에서 샘플 효율적인 강화학습을 위해 소프트 액터-크리틱(SAC) 알고리즘을 적용한다.
• 원시 시각 입력에서 압축되고 의미 있는 상태 표현을 학습하기 위해 변분 오토에ncoder(VAE)를 통합한다.
• 모의 학습이나 교육 과정 없이 원시 상태에서부터 종단간 훈련을 수행한다.
• 예를 들어 이동 거리 또는 트랙 완료도를 기반으로 목표 향한 진전도를 보상 형상화 전략으로 사용한다.

실험 결과

연구 질문

• RQ1 희소 보상과 원시 시각 관측에서 사전 시연 없이 강화학습 에이전트가 소규모 차량을 주행할 수 있는가?
• RQ2 SAC와 VAE의 조합이 저비용 자율 주행 환경에서 상태 표현 학습에 얼마나 효과적인가?
• RQ3 에이전트는 시뮬레이션과 실제 환경에서 무작위로 생성된 트랙으로 일반화 가능한가?
• RQ4 실제 주행 경험 10분 이내로 달성 가능한 성능 수준은 어느 정도인가?
• RQ5 희소 보상은 학습을 방해하는가? 그리고 이 방법은 이러한 제약 조건을 극복할 수 있는가?

주요 결과

• 에이전트는 단일 카메라 영상 입력과 희소 보상만을 사용하여 도나키 카 시뮬레이터에서 무작위로 생성된 트랙을 성공적으로 주행하는 데 성공했다.
• 이 방법은 시뮬레이션에서 실제 트랙으로의 일반화를 보이며, 시뮬레이션에서의 성능이 실제 환경에 전이됨을 입증했다.
• 실제 주행 경험 10분만으로도 안정적이고 일관된 주행 성능을 달성했다.
• 상태 표현 학습을 위한 VAE 통합으로 샘플 효율성과 정책 일반화 능력이 향상되었다.
• 소프트 액터-크리틱 알고리즘이 희소 보상 조건에서도 안정적인 훈련을 가능하게 하여 단순 기준 모델보다 뛰어난 성능을 보였다.
• 손으로 만든 규칙나 복잡한 보상 설계가 필요 없어져 확장 가능한 배포가 가능해졌다.