[논문 리뷰] Self-driving scale car trained by Deep reinforcement learning

Qi Zhang, Tao Du외 1명|arXiv (Cornell University)|2019. 09. 08.

Reinforcement Learning in Robotics참고 문헌 18인용 수 21

한 줄 요약

이 논문은 유니티 기반의 가상 시뮬레이션 환경에서 딥 Q-네트워크(DDQN)를 사용해 1:16 스케일 자율주행 차량을 훈련한 다음, 정책을 실제 세계로 이전시키는 방법을 제안한다. 카메라 입력을 사전 처리해 차선을 분리하고, 보상 기반 강화학습 프레임워크를 사용함으로써 차량은 자동으로 주행선 중앙을 유지하는 것을 학습하며, 안정적인 실세계 주행 성능을 보이며 시뮬레이션에서 실제 세계로의 전이를 성공적으로 구현한다.

ABSTRACT

The self-driving based on deep reinforcement learning, as the most important application of artificial intelligence, has become a popular topic. Most of the current self-driving methods focus on how to directly learn end-to-end self-driving control strategy from the raw sensory data. Essentially, this control strategy can be considered as a mapping between images and driving behavior, which usually faces a problem of low generalization ability. To improve the generalization ability for the driving behavior, the reinforcement learning method requires extrinsic reward from the real environment, which may damage the car. In order to obtain a good generalization ability in safety, a virtual simulation environment that can be constructed different driving scene is designed by Unity. A theoretical model is established and analyzed in the virtual simulation environment, and it is trained by double Deep Q-network. Then, the trained model is migrated to a scale car in real world. This process is also called a sim2real method. The sim2real training method efficiently handle the these two problems. The simulations and experiments are carried out to evaluate the performance and effectiveness of the proposed algorithm. Finally, it is demonstrated that the scale car in real world obtain the capability for autonomous driving.

연구 동기 및 목표

• 인간의 시연에 의존하지 않고 강화학습을 통해 자율주행 정책을 자동으로 학습시키는 자율주행 차량을 개발하는 것.
• 안전하고 실제 세계 조건을 모방하는 시뮬레이션 환경에서 훈련하여 실제 세계 구현 과제를 해결하는 것.
• 시각 입력을 사전 처리해 차선선에 집중하고 배경 노이즈를 줄여 강건성을 향상시키는 것.
• 시뮬레이션에서 훈련된 정책을 실제 스케일 차량에 최소한의 실세계 미세조정으로 전이할 수 있는지 검증하는 것.
• 딥 강화학습이 행동 코딩 방법과 달리 센서 장애 상황에서도 의사결정을 가능하게 하는지 보여주는 것.

제안 방법

• 유니티에서 커스텀 보상 함수를 사용해 원시 카메라 이미지에서 조향 명령어로 매핑하는 더블 딥 Q-네트워크(DDQN) 에이전트를 훈련시켰다.
• 카메라 입력을 사전 처리하기 위해 캐니 에지 검출과 허프 선 변환을 사용해 차선선을 분리하고 배경 노이즈를 감소시켰다.
• 시간적 동역학을 포착하기 위해 네 개의 연속된 처리된 프레임(80x80)을 입력 상태로 스택했다.
• OpenAI Gym 기반의 가상 시뮬레이션 환경을 사용했으며, 실제 세계 치수와 일치하는 3.5x4m 트랙과 우측 주행 규칙을 적용했다.
• 실세계 구현을 위해 추론 파이프라인을 수정해 유니티 출력에서 라즈베리 파이의 실시간 카메라 입력으로 전환했다.
• 트랙 중심에서의 이탈에 대해 벌점을 주고 부드럽고 지속적인 운동을 장려하는 보상 메커니즘을 구현했다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 인간의 시연 없이 시뮬레이션 환경에서 스케일 차량을 자율주행으로 학습할 수 있는가?
• RQ2 차선선을 분리하기 위해 시각 사전 처리를 사용할 경우, 자율주행 차량에 대해 가상에서 실제 세계로의 정책 전이가 얼마나 효과적인가?
• RQ3 카메라 입력을 차선선만 추출하도록 사전 처리하면 실세계 구현에서 정책의 일반화와 강건성 향상에 기여하는가?
• RQ4 상태 사전 처리를 적용한 DDQN은 센서 노이즈와 환경 변화에 대해 엔드 투 엔드 행동 코딩보다 얼마나 잘 대응하는가?
• RQ5 복잡한 커플링 조작(예: 커브 주행) 상황에서도 훈련된 정책이 실세계 조건에서 안정성과 정확도를 유지할 수 있는가?

주요 결과

• DDQN 에이전트는 유니티 시뮬레이션에서 안정적인 주행 정책을 성공적으로 학습했으며, 여러 에피소드에 걸쳐 차량이 트랙 중심에 가까이 머물도록 했다.
• 에지 검출과 선 분할을 통한 이미지 사전 처리가 에이전트의 차선선 집중도를 크게 향상시키고 배경 잡음에 대한 과적합을 감소시켰다.
• 정책은 성공적으로 시뮬레이션에서 실제 세계로 전이되었으며, 실제 차량은 트랙을 따라가고 오른쪽에 머물며 자율 주행 커플링을 수행할 수 있었다.
• 성공에도 불구하고 훈련 시간이 증가했고, 커플링 중에 정책의 불안정성이 발생하여 사전 처리 과정에서 일부 유용한 곡률 정보와 배경 정보가 손실된 것으로 나타났다.
• 이 방법은 강화학습이 일부 인식 모듈의 장애가 발생하더라도 강건한 의사결정을 가능하게 한다는 점을 보여주었으며, 행동 코딩 방법과는 대조적으로 이는 유의미한 결과였다.