[논문 리뷰] Latent Space Reinforcement Learning for Steering Angle Prediction

Qadeer Khan, Torsten Schön외 1명|arXiv (Cornell University)|2019. 02. 11.

Autonomous Vehicle Technology and Safety참고 문헌 8인용 수 7

한 줄 요약

이 논문은 원시 RGB 이미지에서 조향 각도를 예측하기 위해 의미적 환경 임bedding의 잠재 공간 표현을 사용하여 인식과 제어를 분리하는 모듈러한 딥 강화학습 프레임워크를 제안한다. 이 방법은 인간의 시범 없이 엔드 투 엔드 자율 주행 정책 학습을 달성하며, 비대칭적인 전방위 전환에 대한 보상 설계의 과제가 있음에도 고해상도 시뮬레이터에서 성공적인 주행을 보여준다.

ABSTRACT

Model-free reinforcement learning has recently been shown to successfully learn navigation policies from raw sensor data. In this work, we address the problem of learning driving policies for an autonomous agent in a high-fidelity simulator. Building upon recent research that applies deep reinforcement learning to navigation problems, we present a modular deep reinforcement learning approach to predict the steering angle of the car from raw images. The first module extracts a low-dimensional latent semantic representation of the image. The control module trained with reinforcement learning takes the latent vector as input to predict the correct steering angle. The experimental results have showed that our method is capable of learning to maneuver the car without any human control signals.

연구 동기 및 목표

• 인간이 제공한 조향 레이블 없이 원시 카메라 입력에서 직접 작동하는 강화학습 기반 자율 주행 정책을 개발하는 것.
• 낮은 차원의 잠재 표현을 통해 인식(의미 분할)과 제어(정책 학습)를 분리함으로써 샘플 효율성과 강인성을 향상시키는 것.
• 특히 갑작스러운 벌점이 있는 좌회전에 대해 희박하고 비연속적인 보상 신호에 도전하는 것.
• 원시 픽셀 데이터가 아닌 의미 레이블을 기반으로 훈련하여 다양한 조명 및 기상 조건에서 제어 정책의 일반화를 가능하게 하는 것.
• 차원 감소를 통해 의미 맵의 공간 재현성을 활용하여 제어 정책의 복잡성을 줄이는 것.

제안 방법

• 원시 RGB 이미지에서 의미 분할 맵을 생성하기 위해 13개의 출력 채널을 갖는 컨volutional 인코더-디코더 네트워크를 훈련한다. 각 채널은 별도의 환경 클래스를 나타낸다.
• 인코더의 최종 레이어에서 생성된 잠재 벡터가 제어 모듈의 입력으로 사용되며, 의미 레이블이나 원시 픽셀을 직접 사용하지 않는다.
• 클래스 불균형을 처리하기 위해 클래스 빈도의 역수 비례로 가중치가 부여된 가중 카테고리컬 크로스엔트로피 손실을 사용하여 인식 모델을 훈련한다.
• 제어 정책은 잠재 벡터를 상태 입력으로 사용하는 딥 Q러닝(DQN)을 통해 훈련되며, 차선 이탈과 충돌에 대한 벌점을 주는 맞춤형 보상 함수를 사용한다.
• 탐색은 에프실론-그리디 전략을 통해 관리되며, 탐색 확률은 시간이 지남에 따라 감소하여 학습과 이용의 균형을 이룬다.
• 보상 함수는 오른쪽 전환에 대해 연속적이다(보상 +1에서 −5로 부드럽게 전이), 하지만 좌측 전환에 대해서는 비연속적이며, 이는 학습의 불안정성을 유도한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 인간의 시범이나 전문가의 지시 없이 원시 RGB 이미지에서 정확한 조향 각도를 예측할 수 있는가?
• RQ2 학습된 잠재 의미 표현을 사용할 경우 샘플 효율성과 기상 및 조명 변화에 대한 강인성이 어떻게 향상되는가?
• RQ3 보상 함수의 비연속성이 자율 주행 작업에서 딥 Q러닝의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ4 인식과 제어를 분리하는 모듈러 아키텍처는 엔드 투 엔드 비전-투-컨트롤 모델에 비해 더 나은 일반화와 더 쉬운 훈련을 가능하게 하는가?
• RQ5 의미 분할을 상태 표현으로 사용할 경우 제어 정책의 차원과 복잡성을 줄이는 데 얼마나 효과적인가?

주요 결과

• 모델은 인간이 제공한 조향 각도 없이도 보상 함수와 원시 이미지 입력만으로 시뮬레이션 환경에서 주행을 성공적으로 학습했으며, 오른쪽 전환도 수행했다.
• 잠재 표현이 시각적 변형을 추상화하고 일관된 의미 레이블에 의존함으로써 제어 정책이 다양한 기상 조건에서 일반화되었다.
• 좌측 전환에 대한 보상 함수의 비연속성(충격 시 +1에서 −5로 급격한 전이)은 Q-값 추정의 불안정성을 유도하여 학습의 느린 수렴 또는 발산을 초래했다.
• 잠재 공간 표현의 사용은 제어 네트워크의 입력 차원을 감소시켜 더 효율적인 학습과 시각적 노이즈에 대한 강인성을 향상시켰다.
• 성공적인 학습에도 불구하고, 작동 가능한 동작 공간이 오직 3개의 이산 값뿐이므로 조향 동작이 갑작스럽게 느껴졌으며, 이는 연속 동작 공간이 더 매끄러운 동작을 가능하게 할 것이다.
• 자동차는 전환 후 종종 반대 차선에 도달했는데, 이는 특히 전환 동작과 관련된 상태를 선호하는 불균형적인 탐색 때문이었다.