[논문 리뷰] DeepTraffic: Driving Fast through Dense Traffic with Deep Reinforcement Learning.

Lex Fridman, Benedikt Jenik외 1명|arXiv (Cornell University)|2018. 01. 09.

Traffic control and management인용 수 19

한 줄 요약

DeepTraffic는 자율 주행을 위한 엔드 투 엔드 딥 강화 학습을 가능하게 하는 마이크로 교통 시뮬레이션을 도입하며, 단일 신경망이 인식, 제어 및 계획을 모두 처리한다. 이 시스템은 수천 명의 참가자가 참여하는 대규모 개방형 경쟁을 통해 하이퍼파rameter 튜닝을 공동으로 수행함으로써 수천 건의 제출 사례를 통해 집단적 하이퍼파rameter 최적화를 통해 성능 향상을 이룬다.

ABSTRACT

We present a micro-traffic simulation (named DeepTraffic) where the perception, control, and planning systems for one of the cars are all handled by a single neural network as part of a model-free, off-policy reinforcement learning process. The primary goal of DeepTraffic is to make the hands-on study of deep reinforcement learning accessible to thousands of students, educators, and researchers in order to inspire and fuel the exploration and evaluation of DQN variants and hyperparameter configurations through large-scale, open competition. This paper investigates the crowd-sourced hyperparameter tuning of the policy network that resulted from the first iteration of the DeepTraffic competition where thousands of participants actively searched through the hyperparameter space with the objective of their neural network submission to make it onto the top-10 leaderboard.

연구 동기 및 목표

• 딥 강화 학습을 연구하기 위한 접근성 있고 확장 가능한 마이크로 교통 시뮬레이션 환경를 구축하기 위해.
• 수천 명의 학생, 교사 및 연구자가 DQN 변종과 하이퍼파rameter 설정을 실험할 수 있도록 하기 위해.
• 딥 강화 학습 정책 성능 향상에 있어 커뮤니티 기반 하이퍼파rameter 튜닝의 효과성을 조사하기 위해.
• 딥 강화 학습 방법의 평가 및 발전을 촉진하기 위한 대규모 개방형 경쟁을 유도하기 위해.

제안 방법

• 사용자 정의 마이크로 교통 시뮬레이션 환경(DeepTraffic)에서 모델-프리, 오프-폴리시 딥 강화 학습 프레임워크를 구현하였다.
• 단일 딥 신경망이 원시 관측값을 처리하여 직접 행동을 출력함으로써 엔드 투 엔드 학습을 가능하게 하였다.
• 실제 동역학을 반영한 고밀도 교통 환경에서 DQN 기반 에이전트의 학습 및 평가를 지원하는 시스템을 설계하였다.
• 하이퍼파rameter 튜닝은 수천 명의 참가자가 참여하는 대규모 개방형 경쟁을 통해 수행되었다.
• 경쟁을 통해 다양한 설정에서 하이퍼파rameter 공간을 체계적으로 탐색할 수 있었다.
• 성능 평가에서는 누적 보상과 성공 지표를 기반으로 상위 성능을 낸 에이전트를 랭킹하는 래더보드를 사용하였다.

실험 결과

연구 질문

• RQ1 복잡한 교통 환경에서 커뮤니티 기반 하이퍼파rameter 튜닝이 딥 강화 학습 정책 성능 향상에 얼마나 효과적인가?
• RQ2 엔드 투 엔드 딥 강화 학습을 위한 자율 주행에서 가장 높은 성능을 낼 수 있는 하이퍼파arameter 설정은 무엇인가?
• RQ3 하이퍼파arameter 공간의 집단적 탐색 방식은 개별적 또는 히우리스틱 튜닝 방식과 비교해 어떻게 다를까?
• RQ4 수천 건의 제출 사례에서 성공한 하이퍼파arameter의 분포를 분석함으로써 어떤 통찰을 얻을 수 있는가?

주요 결과

• 상위 성능을 낸 에이전트는 기준 DQN 설정보다 유의미하게 높은 누적 보상을 확보하여 대규모 하이퍼파arameter 검색의 가치를 입증하였다.
• 다양한 하이퍼파arameter 설정이 높은 성능을 이끌어내어, 이 작업에서 성공에 도달하는 데 여러 가지 가능한 길이 있음을 시사하였다.
• 경쟁 과정에서 학습률과 경험 리플레이 버퍼 크기와 같은 특정 하이퍼파aram터 조합이 최종 성능에 강력한 영향을 미친 것으로 드러났다.
• 수천 명의 참가자들이 공동으로 수행한 노력은 표준 DQN 설정을 뛰어넘는 비직관적이지만 고성능의 설정을 발견하였다.