[논문 리뷰] Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning

Jianyu Chen, Shengbo Eben Li외 1명|arXiv (Cornell University)|2020. 01. 23.

Reinforcement Learning in Robotics참고 문헌 44인용 수 24

한 줄 요약

이 논문은 원시 카메라 및 라이다 입력을 저차원 잠재 공간으로 압축하는 순차적 잠재 환경 모델을 포함한 해석 가능한 엔드 투 엔드 도시 자율 주행을 위한 잠재 딥 강화학습 프레임워크를 제안한다. 이 방법은 의미적 베이비즈-이어 마스크 복원을 통해 정책의 해석 가능성을 보장하며, DQN, DDPG, TD3 및 SAC 기준선 대비 복잡한 도시 환경에서 뛰어난 성능을 달성한다. 재구성된 마스크와 진짜 마스크 간 평균 픽셀 차이는 0.032이다.

ABSTRACT

Unlike popular modularized framework, end-to-end autonomous driving seeks to solve the perception, decision and control problems in an integrated way, which can be more adapting to new scenarios and easier to generalize at scale. However, existing end-to-end approaches are often lack of interpretability, and can only deal with simple driving tasks like lane keeping. In this paper, we propose an interpretable deep reinforcement learning method for end-to-end autonomous driving, which is able to handle complex urban scenarios. A sequential latent environment model is introduced and learned jointly with the reinforcement learning process. With this latent model, a semantic birdeye mask can be generated, which is enforced to connect with a certain intermediate property in today's modularized framework for the purpose of explaining the behaviors of learned policy. The latent space also significantly reduces the sample complexity of reinforcement learning. Comparison tests with a simulated autonomous car in CARLA show that the performance of our method in urban scenarios with crowded surrounding vehicles dominates many baselines including DQN, DDPG, TD3 and SAC. Moreover, through masked outputs, the learned policy is able to provide a better explanation of how the car reasons about the driving environment. The codes and videos of this work are available at our github repo and project website.

연구 동기 및 목표

• 엔드 투 엔드 딥 강화학습에서의 해석 가능성 부족 문제를 해결하기 위해.
• 공동 잠재 환경 모델을 통해 복잡한 도시 주행 정책 학습 시 샘플 복잡도를 감소시키기 위해.
• 학습된 잠재 상태를 객체 탐지 및 위치 추정과 같은 모듈식 프레임워크 구성 요소와 정렬시켜 정책 결정의 해석 가능성을 제공하기 위해.
• 단순한 작업(예: 차선 유지)을 넘어서 붐비고 다이나믹한 도시 환경에서 일반화 능력과 성능을 향상시키기 위해.
• 엔드 투 엔드 통합을 포기하지 않으면서도 엔드 투 엔드 학습과 해석 가능하고 모듈식 유사 추론을 연결하는 프레임워크를 제공하기 위해.

제안 방법

• 최대 엔트로피 딥 강화학습과 함께 공동으로 훈련되는 순차적 잠재 환경 모델이 고차원의 원시 관측값(카메라 및 라이다)을 저차원 잠재 공간으로 압축한다.
• 잠재 상태는 주행 가능한 영역, 도로 표시선 및 주변 차량을 반영하는 의미적 베이비즈-이어 마스크로 복원되며, 이는 해석 가능성을 보장한다.
• 마스크 생성 과정은 기존의 모듈식 구성 요소(예: 객체 탐지, 위치 추정)의 중간 출력과 일치하도록 제약을 두어 전통적 시스템 이해로의 다리를 놓는다.
• 시간적 의존성을 모델링하기 위해 변동형 추론 프레임워크와 확률적 그래픽 모델을 사용한다.
• 최대 엔트로피 강화학습(예: SAC 유사)을 사용해 정책을 훈련하며, 잠재 상태가 상태 표현으로 사용되어 샘플 효율성이 향상된다.
• 모델은 CARLA 시뮬레이터에서 원시 센서 입력과 엔드 투 엔드 제어 출력을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 강화학습에서 잠재 공간 표현이 자율 주행 정책의 해석 가능성 향상에 기여하는가?
• RQ2 잠재 환경 모델과 정책의 공동 학습이 복잡한 도시 주행 과제에서 샘플 복잡도를 어떻게 감소시키는가?
• RQ3 복원된 의미적 베이비즈-이어 마스크가 인간이 이해할 수 있는 의미 있는 설명을 얼마나 잘 제공하는가?
• RQ4 이 방법은 붐비는 도시 주행 환경에서 표준 딥 강화학습 기준선(DQN, SAC 등)을 초월할 수 있는가?
• RQ5 정책의 실패 유형은 무엇이며, 잠재 모델은 마스크 재구성 덕분에 이를 진단하는 데 기여하는가?

주요 결과

• 제안된 방법은 CARLA 시뮬레이터에서 고밀도 차량 환경에서 DQN, DDPG, TD3 및 SAC를 상회하는 성능을 보였다.
• 10,000개의 테스트 프레임 동안 재구성된 의미적 베이비즈-이어 마스크와 진짜 마스크 간 평균 픽셀 차이는 0.032로, 높은 재구성 정확도를 나타낸다.
• 충돌이 발생한 실패 케이스는 해석 가능하다: 모델은 주변 차량을 간과하거나 자신의 차선 내 차량의 위치를 잘못 인식한 오인을 드러낸다.
• 잠재 공간은 이러한 요소들에 대한 명시적 지도 없이도 주행 가능한 영역, 도로 표시선 및 주변 차량의 정확한 탐지를 가능하게 한다.
• 원시 센서 입력에서 파생된 압축되고 의미 있는 상태 표현을 제공함으로써 샘플 복잡도를 감소시킨다.
• 의미적 마스크 복원은 엔드 투 엔드 학습과 모듈식 시스템 구성 요소 사이의 功能적 다리를 제공하며, 정책 행동의 사후 해석을 가능하게 한다.