[논문 리뷰] Affordance-based Reinforcement Learning for Urban Driving

Tanmay Agarwal, Hitesh Arora외 1명|arXiv (Cornell University)|2021. 01. 15.

Autonomous Vehicle Technology and Safety참고 문헌 71인용 수 9

한 줄 요약

이 논문은 도심 환경에서 엔드 투 엔드 주행 정책을 훈련하기 위해 웨이포인트와 저차원 시각적 약속(affordances)을 사용하는 약속 기반 딥 강화학습 프레임워크를 제안한다. Proximal Policy Optimization를 사용해 처음부터 훈련된 에이전트는 차선 유지, 교차로 주행, 신호등 정지와 같은 강건하고 일반화 가능한 행동을 학습하며, CARLA의 NoCrash 벤치마크에서 밀도 높은 교통 상황에서도 최상의 성능을 기록하며 최대 100%의 성공률과 거의 0%에 가까운 위반율을 달성한다.

ABSTRACT

Traditional autonomous vehicle pipelines that follow a modular approach have been very successful in the past both in academia and industry, which has led to autonomy deployed on road. Though this approach provides ease of interpretation, its generalizability to unseen environments is limited and hand-engineering of numerous parameters is required, especially in the prediction and planning systems. Recently, deep reinforcement learning has been shown to learn complex strategic games and perform challenging robotic tasks, which provides an appealing framework for learning to drive. In this work, we propose a deep reinforcement learning framework to learn optimal control policy using waypoints and low-dimensional visual representations, also known as affordances. We demonstrate that our agents when trained from scratch learn the tasks of lane-following, driving around inter-sections as well as stopping in front of other actors or traffic lights even in the dense traffic setting. We note that our method achieves comparable or better performance than the baseline methods on the original and NoCrash benchmarks on the CARLA simulator.

연구 동기 및 목표

• 자율주행에서 모듈러 및 이민학습 접근법의 한계를 해결하기 위해, 특히 새로운 환경에 대한 일반화 능력 부족과 전문가 시범에 대한 의존성 문제를 해결한다.
• 복잡한 도심 주행 시나리오에서 고차원 상태공간 강화학습의 샘플 비효율성과 불안정성을 극복한다.
• 수동으로 설계된 구성 요소 없이도 새로운 장면과 희귀 사건에 일반화 가능한 확장 가능한 엔드 투 엔드 학습 프레임워크를 개발한다.
• 저차원 시각적 약속과 웨이포인트가 복잡한 도심 주행 작업을 효과적으로 표현하면서 안정적인 정책 학습을 가능하게 함을 보여준다.
• 전문가 시범이 필요 없이 환경에서의 밀도 높은 보상 설계만으로도 전문가 지도 기반 기준선과 비교하거나 그 이상의 성능을 달성한다.

제안 방법

• 웨이포인트와 저차원 시각적 약속(예: 차선 중심까지의 거리, 신호등 존재 여부 등)을 상태 표현으로 사용하여 주행 작업을 마르코프 결정 과정(Markov Decision Process)으로 공식화한다.
• 원시 관측값에서부터 엔드 투 엔드로 제어 정책을 훈련하기 위해 모델리스 온폴리시 강화학습 알고리즘인 Proximal Policy Optimization (PPO)를 사용한다.
• 안전하고 효율적이며 규정 준수 주행 행동을 장려하는 조밀한 보상 함수를 설계하며, 이는 목적지 도착 성공, 충돌 방지, 적시 정지 등을 포함한다.
• 모든 전문가 시범이나 지도 학습 전훈 없이 순수한 시도와 실수 학습만을 통해 에이전트를 처음부터 훈련시킨다.
• 세 가지 유형의 상태 표현을 탐색한다: (A) 수작업으로 설계된 약속과 웨이포인트, (B) 컨볼루션 인코더를 통한 학습된 약속, (C) 분석을 위한 아블레이션용 원시 RGB 이미지.
• 커리큘럼 학습과 도메인 랜덤라이제이션을 도시 Town 01과 Town 02 간에 적용하여 훈련 중 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 저차원 약속과 웨이포인트만을 사용해 딥 강화학습 에이전트가 차선 유지, 교차로 주행, 신호등 준수와 같은 복잡한 도심 주행 행동을 학습할 수 있는가?
• RQ2 초기부터 훈련된 강화학습 에이전트의 성능은 성공률 및 안전성 측면에서 전문가 지도 기반 또는 이민학습 기준선과 비교해 어떻게 다른가?
• RQ3 수작업으로 설계된 약속을 사용할 경우, 원시 이미지에서 엔드 투 엔드로 표현을 학습하는 것보다 샘플 효율성과 정책 강건성이 향상되는가?
• RQ4 튜닝 없이도 에이전트는 새로운 환경(예: Town 02)과 희귀 교통 시나리오(예: 고밀도 도심 교통)에 얼마나 잘 일반화되는가?
• RQ5 상태 표현 설계(수작업 약속 대비 학습된 약속)는 정책 성능과 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Town 01과 Town 02 양 도시에서 빈 교통 조건에서 NoCrash 벤치마크에서 100% 성공률를 기록했으며, 충돌이나 타임아웃이 전혀 발생하지 않았다.
• 일반적인 교통 조건에서 에이전트는 Town 02에서 98.16%의 성공률를 기록했으며, CIL(22.00%), CAL(27.67%), CILRS(49.00%) 등의 기준선보다 뚜렷이 뛰어난 성능을 보였다.
• 밀도 높은 교통 조건에서 에이전트는 Town 01에서 95.38%의 성공률, Town 02에서 91.20%의 성공률를 기록했으며, 기준선 대비 충돌률이 최소 한 계단 이상 감소했다.
• 빈 조건에서 에이전트는 차량과의 충돌률이 0.00%이며 보행자와의 충돌률도 0.00%를 기록해 높은 안전성과 신뢰성을 입증했다.
• 수작업 약속을 사용한 변형(A)은 엔드 투 엔드로 학습된 약속을 사용한 변형(B)보다 우수한 성능과 강건성을 보였으며, 후자는 더 많은 샘플이 필요하고 낮은 안정성을 보였다.
• 모든 교통 및 도시 조건에서 이전의 이민학습 및 모듈러 기준선 대비 타임아웃 및 충돌 위반률을 최소 한 계단 이상 감소시켰다.