[논문 리뷰] Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars

Ran Emuna, Avinoam Borowsky외 1명|arXiv (Cornell University)|2020. 06. 07.

Autonomous Vehicle Technology and Safety참고 문헌 42인용 수 21

한 줄 요약

이 논문은 두 차선 고속도로에서 정적 장애물 회피 작업에서 전문가 인간 운전의 행동을 모방하는 모델리스 딥 강화학습(DRL) 접근법을 제안한다. 규칙 기반 운전 제약 조건과 데이터 기반 전문가 시범을 확률적 보상 함수를 통해 융합함으로써, 인간과 유사한 운전 정책을 생성하여 인간의 궤적 위치 및 속도 분포의 평균과 분산을 거의 정확히 재현하며, 시각적 튜링 테스트에서 인간 수준에 가까운 성능을 달성한다.

ABSTRACT

The technological and scientific challenges involved in the development of autonomous vehicles (AVs) are currently of primary interest for many automobile companies and research labs. However, human-controlled vehicles are likely to remain on the roads for several decades to come and may share with AVs the traffic environments of the future. In such mixed environments, AVs should deploy human-like driving policies and negotiation skills to enable smooth traffic flow. To generate automated human-like driving policies, we introduce a model-free, deep reinforcement learning approach to imitate an experienced human driver's behavior. We study a static obstacle avoidance task on a two-lane highway road in simulation (Unity). Our control algorithm receives a stochastic feedback signal from two sources: a model-driven part, encoding simple driving rules, such as lane-keeping and speed control, and a stochastic, data-driven part, incorporating human expert knowledge from driving data. To assess the similarity between machine and human driving, we model distributions of track position and speed as Gaussian processes. We demonstrate that our approach leads to human-like driving policies.

연구 동기 및 목표

• 혼잡한 교통 환경에서 경험이 풍부한 인간 운전자의 행동을 모방하는 자율주행차 정책을 개발하기 위해.
• 실제 주행 데이터에서 유래한 데이터 기반 전문 지식과 규칙 기반 운전 제약 조건(예: 차선 유지, 속도 제어)을 통합하기 위해.
• 운동학적 특성의 통계적 분포를 사용하여 기계와 인간의 운전 행동 간 유사성을 평가하기 위해.
• 학습된 정책이 새로운 도로 구성과 예상치 못한 장애물 분포를 가진 새로운 도로 환경에서의 일반화 능력을 평가하기 위해.
• 기계 기반의 에이전트가 관찰자에게 인간처럼 보여 시각적 튜링 테스트에 통과할 수 있는지 평가하기 위해.

제안 방법

• 프록실리미티 정책 최적화(PPO)를 사용하여 딥 강화학습 에이전트를 훈련시키며, 모델 기반 규칙과 데이터 기반 전문가 행동을 융합한 하이브리드 보상 함수를 적용한다.
• 보상 함수는 두 가지 소스에서 온 확률적 피드백을 포함한다: 규칙 기반 구성 요소(예: 차선 유지, 속도 제어)와 인간 전문가 데이터는 궤적 위치 및 속도에 대한 가우시안 프로세스 모델링을 통해 통합된다.
• 인간 주행의 상태 분포는 가우시안 프로세스를 사용하여 평균 행동과 변동성(1차 및 2차 모멘트)을 모두 포착한다.
• 시뮬레이션 환경은 유니티 기반으로 구축되었으며, 정적 장애물이 임의의 위치에 배치된 4.7km 길이의 두 차선 고속도로를 포함한다.
• 시각적 튜링 테스트는 2019년 이스라엘 로봇학회(ICR)에서 실시되었으며, 참가자들은 인간과 에이전트의 주행 영상 클립을 시청하여 둘을 구분하도록 했다.
• 일반화 능력은 장애물 분포가 다양한 새로운 도로 트랙(예: 번갈아 배치, 무작위, 묶음 배치)에서 평가되었다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 정적 장애물 회피 작업에서 인간 주행 행동의 평균과 분산을 성공적으로 모방할 수 있는가?
• RQ2 전문가 데이터로부터 온 확률적 피드백이 새로운 장애물 분포로의 정책 일반화에 어떤 영향을 미치는가?
• RQ3 기계 기반 에이전트가 관찰자에게 인간처럼 보여 시각적 튜링 테스트에 얼마나 잘 통과할 수 있는가?
• RQ4 학습 중에 볼 수 없었던 고곡률 도로 구간과 같은 새로운 시나리오에서 에이전트는 어떤 성능을 보이는가?
• RQ5 규칙 기반 제약 조건과 데이터 기반 전문 지식이 인간과 유사한 주행 행동을 달성하는 데 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 에이전트는 궤적 위치에서 인간 주행 행동의 1차 및 2차 모멘트를 성공적으로 재현하였으며, 속도 일치는 부분 관측성으로 인해 덜 정확하였다.
• 확률적 보상 함수는 결정론적 보상 함수보다 더 우수한 일반화 성능을 보였으며, 다양한 장애물 분포를 가진 새로운 도로에서 모든 장애물을 피할 수 있도록 했다.
• ICR 2019에서 실시한 시각적 튜링 테스트에서 참가자 60%가 기계 기반 에이전트를 정확히 식별하지 못해 강력한 인간과 유사한 행동을 보였음을 시사한다.
• 훈련 데이터에 존재하지 않는 고곡률 도로 섹션에서는 장애물을 피하지 못해, 극단적으로 새로운 시나리오로의 일반화 능력에 한계가 있음을 드러냈다.
• 규칙 기반 제약 조건과 데이터 기반 전문 지식을 확률적 보상 함수를 통해 융합함으로써 효과적이고 인간과 유사한 주행 정책을 시뮬레이션 환경에서 도출할 수 있음을 입증하였다.
• 특정 하이퍼파라미터 설정(예: 학습률 1e-1, 할인율 γ=0.98, 클리핑 ε=0.2)을 사용한 PPO를 통한 하이퍼파라미터 튜닝은 안정적인 훈련과 정책 수렴을 이끌었다.