[논문 리뷰] CARLA Real Traffic Scenarios -- novel training ground and benchmark for autonomous driving

Błażej Osiński, Piotr Miłoś외 7명|arXiv (Cornell University)|2020. 12. 16.

Autonomous Vehicle Technology and Safety참고 문헌 48인용 수 12

한 줄 요약

이 논문은 CARLA 시뮬레이터에서 고속도로 차선 변경 및 원형 교차로 주행을 시뮬레이션하기 위해 실제 교통 데이터를 기반으로 한 대규모이고 오픈소스 기반의 벤치마크인 CARLA Real Traffic Scenarios (CRTS)를 소개한다. 이는 강화학습을 활용한 자율주행 에이전트의 훈련 및 평가를 가능하게 하며, 조밀한 보상 설계와 조감도 관측 방식이 일반화 능력과 성공률(공개DD 기준 91.4%) 향상에 유리하다는 것을 입증한다. 이는 희박한 보상 또는 장애 발생에 대한 벌점이 없는 전략보다 우수하다.

ABSTRACT

This work introduces interactive traffic scenarios in the CARLA simulator, which are based on real-world traffic. We concentrate on tactical tasks lasting several seconds, which are especially challenging for current control methods. The CARLA Real Traffic Scenarios (CRTS) is intended to be a training and testing ground for autonomous driving systems. To this end, we open-source the code under a permissive license and present a set of baseline policies. CRTS combines the realism of traffic scenarios and the flexibility of simulation. We use it to train agents using a reinforcement learning algorithm. We show how to obtain competitive polices and evaluate experimentally how observation types and reward schemes affect the training process and the resulting agent's behavior.

연구 동기 및 목표

• 실제 교통 데이터 기반의 시나리오를 도입하여 자율주행 시뮬레이션의 현실성 격차를 줄이기 위해.
• 강화학습을 활용한 자율주행 정책 훈련 및 평가를 위한 확장 가능한 오픈소스 벤치마크를 제공하기 위해.
• 관측 모odal리티와 보상 설계가 전술적 주행 작업에서 정책 성능 및 일반화에 미치는 영향을 조사하기 위해.
• 엔드 투 엔드 학습, 규칙 기반 시스템, 고전적 계획 기반 접근법을 포함한 다양한 접근 방식의 평가를 가능하게 하기 위해.
• 실제 도로에 도입하기 전 알고리즘 검증을 위한 신뢰할 수 있는 시험 플랫폼을 제공하기 위해.

제안 방법

• CRTS는 openDD 및 NGSIM 데이터셋에서 60,000건 이상의 실제 교통 시나리오를 추출하여, 현실적인 물리 법칙과 교통 규칙을 적용해 CARLA에 매핑한다.
• 시뮬레이터에서는 조감도, 카메라, LiDAR 등 다양한 관측 모드를 지원하여 다중 모odal 정책 훈련을 가능하게 한다.
• 조밀한 보상 함수를 사용하며, 진전, 안전성, 규칙 준수 요소를 포함한다. 희박한 보상 및 장애 발생에 대한 벌점이 없는 변형에 대한 분석도 수행한다.
• 경험 재생 및 타겟 네트워크를 활용한 DQN 기반 알고리즘을 사용하여 강화학습을 수행하며, 시나리오를 훈련/테스트 세트로 분할해 학습한다.
• 조감도 관측을 생성하기 위한 커스터마이징된 파이썬 패키지를 개발하여, 관련 없는 프로젝트로의 이식을 용이하게 한다.
• 일반화 능력 평가를 위해 훈련된 정책을 미리 보지 않은 테스트 시나리오에서 테스트하며, 다양한 입력 모달리티와 보상 체계에서 성공률을 측정한다.

실험 결과

연구 질문

• RQ1 조감도, 시각적 이미지, LiDAR와 같은 관측 모달리티의 선택이 전술적 주행 작업에서 정책 성능과 일반화에 어떤 영향을 미치는가?
• RQ2 조밀한 보상, 희박한 보상, 장애 발생에 대한 벌점이 없는 전략 등 다양한 보상 설계 전략이 학습 수렴과 최종 성공률에 미치는 영향은 어떠한가?
• RQ3 CRTS에서 훈련된 정책이 미리 보지 않은 시나리오로 일반화되는 정도는 어느 정도이며, 이러한 일반화에 영향을 미치는 요인은 무엇인가?
• RQ4 엔드 투 엔드 강화학습 기반 에이전트가 실제 주행 패턴을 유사하게 반영하는 안전하고 효과적인 주행 행동을 학습할 수 있는가?
• RQ5 CRTS의 현실성은 다른 시뮬레이터와 비교해 볼 때, 실전 배포 이전의 신뢰할 수 있는 테스트를 가능하게 하는 데 얼마나 유리한가?

주요 결과

• 조밀한 보상 체계가 테스트 시나리오에서 가장 높은 성공률을 기록했으며, openDD 기준 91.4%, NGSIM 기준 82.8%를 기록하여 희박한 보상 또는 장애 발생에 대한 벌점이 없는 변형보다 뛰어났다.
• 조감도 입력이 시각적 입력보다 뛰어난 성능을 보였으며, 특히 차선 변경 시나리오에서 프레임 스택을 통한 운동 추론이 속도 추정에 유리하게 작용했다.
• NGSIM에서는 프레임 스택이 성능 향상에 기여했지만, openDD에서는 성능 저하를 유발했으며, 이는 원형 교차로 시나리오에서는 운동 신호가 덜 중요한 것으로 나타났다.
• 조밀한 보상으로 훈련된 정책는 더 나은 일반화 능력과 일관된 행동을 보였고, 희박한 보상 훈련은 더 긴 수렴 시간과 낮은 테스트 성능을 보였다.
• 정성적 분석 결과, 훈련된 에이전트가 종종 너무 빠르게 주행하고 적절한 감속을 하지 않아 편안함과 규칙 준수를 위한 보상 요소가 보상 함수에 부족함을 드러냈다.
• 높은 성공률에도 불구하고 일부 피할 수 있는 충돌 사고가 발생했으며, 특히 앞면 시야 실험에서 뒷편 차량을 인식하지 못해 발생했으며, 이는 인지 및 안전성 측면의 한계를 보여주었다.