[논문 리뷰] Automating Vehicles by Deep Reinforcement Learning using Task Separation with Hill Climbing

Mogens Graf Plessen|arXiv (Cornell University)|2017. 11. 29.

Reinforcement Learning in Robotics참고 문헌 49인용 수 8

한 줄 요약

이 논문은 기울기 없고 모델 기반인 딥 강화학습 알고리즘인 Task Separation with Hill Climbing(TSHC)을 제안한다. 이 알고리즘은 다수의 운동 프리미티브를 하나의 신경망에 인코딩하여 자율 주행차량을 제어하기 위해 별도의 결정적 작업에서 학습한다. 이 방법은 희박한 보상과 가상 속도 제약 조건을 통해 고정밀 제어를 달성하며, 온라인 추론을 빠르고 반복 가능하게 하기 위해 작은 66개 파라미터 네트워크를 사용한다. 이로써 32분 이내의 오프라인 훈련으로 181개의 서로 다른 주행 동작을 습득할 수 있다.

ABSTRACT

Within the context of autonomous driving a model-based reinforcement learning algorithm is proposed for the design of neural network-parameterized controllers. Classical model-based control methods, which include sampling- and lattice-based algorithms and model predictive control, suffer from the trade-off between model complexity and computational burden required for the online solution of expensive optimization or search problems at every short sampling time. To circumvent this trade-off, a 2-step procedure is motivated: first learning of a controller during offline training based on an arbitrarily complicated mathematical system model, before online fast feedforward evaluation of the trained controller. The contribution of this paper is the proposition of a simple gradient-free and model-based algorithm for deep reinforcement learning using task separation with hill climbing (TSHC). In particular, (i) simultaneous training on separate deterministic tasks with the purpose of encoding many motion primitives in a neural network, and (ii) the employment of maximally sparse rewards in combination with virtual velocity constraints (VVCs) in setpoint proximity are advocated.

연구 동기 및 목표

• 자율 주행차량의 모델 기반 제어 방법에서 실시간 계산 부담을 해결하기 위해 오프라인 훈련과 온라인 추론를 분리한다.
• 샘플링 기반, 래티스 기반, MPC 방법의 한계를 극복하여 모델 복잡도를 유지하면서도 계산 가능성을 확보한다.
• 고정밀 시스템 모델에 적합한 단순한 기울기 없는 알고리즘을 사용해 하나의 신경망에서 종합적인 운동 프리미티브 학습을 가능하게 한다.
• 스토케스틱 정책 기울기나 광범위한 온라인 최적화에 의존하지 않고도 고정밀이고 반복 가능한 제어 성능을 달성한다.

제안 방법

• 오프라인에서 별도의 결정적 작업에서 훈련하고, 테스트 시 빠른 피드포워드 추론을 수행하는 이중 단계 절차를 사용해 신경망 컨트롤러를 훈련한다.
• 다양한 운동 프리미티브(예: 회전, 후진)를 하나의 파rameterized 컨트롤러 네트워크에 인코딩하기 위해 작업 분리를 활용한다.
• 최대한 희박한 보상 구조를 사용한다. 즉, 차량이 목표 지점에 좁은 허용 오차 내에 도달할 경우에만 밀도 높은 보상을 부여한다(예: 헤딩에 대해 εψ = 1°, 위치에 대해 εd = 0.25 m).
• 목표 지점 근처에서 가상 속도 제약 조건(VVCs)을 적용하여 학습을 안정화시키고 정밀한 목표 상태로의 수렴을 이끌어낸다.
• 기울기가 없는 힐 클라이밍 최적화 전략을 사용하여 무작위 변동(σpert ~ U[10,1000])과 다중 재시작(Nrestarts = 10)을 통해 기울기 없이도 파라미터 공간을 탐색한다.
• 상태 특징(예: 상대 위치, 헤딩, 속도)을 정규화하고, 저항력이 낮고 빠른 훈련이 가능한 작은 MLP-[5,8,2] 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 기울기 없는 모델 기반 강화학습을 통해 하나의 신경망 컨트롤러가 다수의 운동 프리미티브를 효율적으로 인코딩할 수 있는가?
• RQ2 희박한 보상과 VVCs를 함께 사용한 작업 분리는 자율 주행차량 제어에서 학습의 안정성과 정밀도를 어떻게 향상시키는가?
• RQ3 한 개의 네트워크에 많은 작업을 인코딩할 경우와 작업을 부분집합으로 나누었을 경우의 네트워크 크기, 훈련 시간, 성능 간의 상충 관계는 어떠한가?
• RQ4 작고 저파ram터 수의 네트워크가 최소한의 온라인 계산으로 복잡한 동작(예: 180° 회전)에서 고정밀 제어를 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• TSHC 알고리즘은 66개 파라미터를 가진 MLP-[5,8,2] 네트워크를 10번의 재시작을 거쳐 총 31.1분의 최종 훈련 시간으로 181개의 서로 다른 운동 프리미티브(1° 간격의 180° 회전)를 성공적으로 학습시켰다.
• 학습된 컨트롤러는 헤딩 정밀도 1°(εψ = 1°)를 달성하여 스토케스틱 정책 기울기 의존 없이도 고정밀 제어를 실현했다.
• 이 방법은 스토케스틱 정책 기울기 방법이 확률 분포에서 샘플링에 의존하는 것과 달리 반복 가능하고 결정적인 제어 성능을 제공했다.
• 단일 작업(예: 180° 회전)에서 훈련할 경우, 모든 181개 작업을 동시에 훈련할 때보다 궤적의 매끄러움이 높고 전진/후진 전환 횟수가 적었다.
• 전체 작업 훈련과 단일 작업 훈련 간 비교 분석을 통해 너무 많은 프리미티브를 한 네트워크에 동시에 인코딩할 경우 개별 궤적의 성능이 저하됨을 확인했으며, 이는 작업 분할의 이점이 있음을 시사한다.
• 제어 반사 기능을 통해 동일한 네트워크가 대칭성을 이용해 360° 전역 주행 동작으로 일반화되었으며, 추가 훈련 없이도 학습 정책의 적용 범위를 두 배로 늘릴 수 있었다.