[논문 리뷰] Virtual to Real Reinforcement Learning for Autonomous Driving

Xinlei Pan, Yurong You외 2명|arXiv (Cornell University)|2017. 04. 13.

Reinforcement Learning in Robotics참고 문헌 29인용 수 149

한 줄 요약

이 논문은 가상 시뮬레이터 프레임을 씬 파싱을 통해 현실적인 이미지로 변환하는 현실적 변환 네트워크를 제안하여 시뮬레이션에서 학습된 강화학습 에이전트가 실세계 주행으로 효과적으로 전이되도록 한다.

ABSTRACT

Reinforcement learning is considered as a promising direction for driving policy learning. However, training autonomous driving vehicle with reinforcement learning in real environment involves non-affordable trial-and-error. It is more desirable to first train in a virtual environment and then transfer to the real environment. In this paper, we propose a novel realistic translation network to make model trained in virtual environment be workable in real world. The proposed network can convert non-realistic virtual image input into a realistic one with similar scene structure. Given realistic frames as input, driving policy trained by reinforcement learning can nicely adapt to real world driving. Experiments show that our proposed virtual to real (VR) reinforcement learning (RL) works pretty well. To our knowledge, this is the first successful case of driving policy trained by reinforcement learning that can adapt to real world driving data.

연구 동기 및 목표

• 안전하고 비용 효율적인 정책 학습을 가상 환경에서의 학습으로 촉진하여 실제 배치 전에 준비한다.
• 가상 이미지를 현실적인 이미지로 변환하면서 장면 파싱 구조를 보존하는 2단계 이미지 변환 파이프라인을 개발한다.
• 번역된 현실적인 이미지를 사용해 학습된 RL 에이전트가 순수하게 가상 도메인에서 학습되었거나 도메인 무작위화와 함께 학습된 에이전트보다 성능이 우수함을 입증한다.
• 실제 주행 작업에서 데이터 효율성 및 일반화를 평가하기 위해 감독 학습 베이스라인과 비교한다.

제안 방법

• 가상에서 파싱으로의 현실적 변환 네트워크의 두 모듈을 도입한다: virtual-to-parsing (가상 이미지에서 씬 파싱 맵으로)와 parsing-to-real (파싱 맵에서 현실적인 이미지로).
• L1 손실을 보강한 조건부 GAN 목적 함수를 사용해 흐림 현상을 줄이는 G* = arg min_G max_D L_cGAN + lambda L1로 번역 네트워크를 학습한다.
• SegNet-스타일의 시맨틱 분할을 사용해 가상 이미지와 실제 이미지를 연결하는 중간 도메인 역할을 하는 씬 파싱 표현을 얻는다.
• 현실적인 번역 프레임을 상태 입력으로 사용하여 A3C를 이용한 RL 에이전트를 학습해 운전 정책을 배운다.
• 공정한 비교를 위해 실제 세계의 주행 라벨을 시뮬레이터의 행동에 매핑해 스티어링/액션 정확도를 평가한다.
• Purely virtual(B-RL) 에이전트와 실제 주행 데이터를 사용한 감독(SV) 모델과 벤치마킹한다.

실험 결과

연구 질문

• RQ1 씬 파싱 중간 표현을 통해 가상 이미지를 현실 프레임으로 변환하는 것이 시뮬레이션에서 학습된 RL 정책이 실세계 주행으로 전이되게 할 수 있는가?
• RQ2 파싱-투-리얼 이미지 합성으로 VR RL이 도메인 무작위화 RL 및 순수 감독 베이스라인보다 실제 주행 데이터에서 우수한가?
• RQ3 정책 전이에 대해 세그멘테이션 기반 브리지가 직접적인 가상-실제 매핑보다 어떤 영향을 미치는가?
• RQ4 제안된 방법이 서로 다른 가상 주행 환경 간 전이 학습에서 어떻게 수행하는가?

주요 결과

• VR RL 접근 방식은 가상 입력만 사용하는 기본 RL보다 동작 예측 정확도가 더 높다(43.40% 대 28.33%).
• 감독 학습은 최고 정확도(53.60%)를 달성하지만 대량의 라벨 데이터가 필요하다.
• VR RL은 가상 환경 간의 전이 실험에서 도메인 무작위화 RL보다 우수하다.
• 이미지-대-세그먼테이션-대-이미지 변환은 RL 학습에 적합한 현실적인 프레임을 보존하는 씬 구조를 유지한다.
• 세그멘테이션 기반 중간 매개체를 통해 가상-실제 도메인 간 번역을 페어된 가상-실제 데이터 없이도 가능하게 한다.
• 이 방법은 RL로 학습된 운전 정책이 실세계 주행 데이터에 적응하는 최초의 성공 사례를 보여준다.