[논문 리뷰] Carl-Lead: Lidar-based End-to-End Autonomous Driving with Contrastive Deep Reinforcement Learning

Peide Cai, Sukai Wang외 2명|arXiv (Cornell University)|2021. 09. 17.

Autonomous Vehicle Technology and Safety참고 문헌 26인용 수 7

한 줄 요약

Carl-Lead는 차선이 없는 도심 교차로에서 가림과 센서 노이즈로 인한 부분 관측 상황을 고려해 라이다 기반 엔드 투 엔드 자율주행 정책을 대비한 대비적 딥 강화학습으로 훈련한다. 비지도 대비 학습을 보조 과제로 통합함으로써 샘플 효율성과 일반화 능력을 향상시켜, 새로운 환경(예: 원형 교차로)에서 기존의 SOTA 학습 기반 방법보다 높은 성공률을 달성하고, 규칙 기반 시스템보다 더 우수한 안전성-효율성 트레이드오프를 실현한다.

ABSTRACT

Autonomous driving in urban crowds at unregulated intersections is challenging, where dynamic occlusions and uncertain behaviors of other vehicles should be carefully considered. Traditional methods are heuristic and based on hand-engineered rules and parameters, but scale poorly in new situations. Therefore, they require high labor cost to design and maintain rules in all foreseeable scenarios. Recently, deep reinforcement learning (DRL) has shown promising results in urban driving scenarios. However, DRL is known to be sample inefficient, and most previous works assume perfect observations such as ground-truth locations and motions of vehicles without considering noises and occlusions, which might be a too strong assumption for policy deployment. In this work, we use DRL to train lidar-based end-to-end driving policies that naturally consider imperfect partial observations. We further use unsupervised contrastive representation learning as an auxiliary task to improve the sample efficiency. The comparative evaluation results reveal that our method achieves higher success rates than the state-of-the-art (SOTA) lidar-based end-to-end driving network, better trades off safety and efficiency than the carefully tuned rule-based method, and generalizes better to new scenarios than the baselines. Demo videos are available at https://caipeide.github.io/carl-lead/.

연구 동기 및 목표

• 차선이 없는 도심 교차로에서 흔히 발생하는 불완전하고 부분적인 관측 환경을 다룰 수 있는 엔드 투 엔드 자율주행 정책을 개발하는 것.
• 가림과 센서 노이즈가 존재하는 고차원적 실세계 주행 시나리오에서 딥 강화학습(DRL)의 샘플 비효율성을 해결하는 것.
• 원시 라이다 포인트 클라우드에서 강건한 표현을 학습함으로써, 원형 교차로와 같은 새로운 시나리오에 대한 일반화 능력을 향상시키는 것.
• 수동적인 규칙과 지상 진실 상태 정보에 대한 의존도를 줄여 실제 인식 조건에서도 구현 가능한 환경에서의 적용을 가능하게 하는 것.
• 보조 과제로서의 비지도 대비 표현 학습을 통해 훈련 효율성과 주행 성능을 향상시키는 것.

제안 방법

• 방법은 라이다 포인트 클라우드를 그대로 입력으로 사용하여, 가림과 노이즈를 포함한 실제 센서 제약 조건을 시뮬레이션한 부분 관측 환경을 구성한다.
• 엔드 투 엔드 정책 학습을 위해 시도-오류 기반으로 작동하는 D3QN(Dueling 아키텍처와 노이즈 네트워크를 갖춘 딥 Q-네트워크)을 핵심 DRL 알고리즘으로 활용한다.
• 시간적 순서의 라이다 관측치에서 불변 표현을 학습하기 위해 보조 대비 학습 브랜치를 도입하여 특징 품질과 샘플 효율성을 향상시킨다.
• 대비 학습 목표는 동일한 시퀀스의 증강 관측치(양성 뷰) 간의 일치를 최대화하고, 다른 시퀀스의 관측치(음성 뷰) 간의 일치를 최소화하는 데 중점을 둔다.
• 모델 기반, 오프-폴리시 방식으로 정책을 훈련시켜 다른 차량의 다양한 불확실한 행동에 적응할 수 있도록 한다.
• 기울기 기반 기여도 기반으로 관련 환경 요소에 대한 주의를 시각화함으로써 정책의 해석을 위해 시각화 지도를 사용한다.

실험 결과

연구 질문

• RQ1 제한된 데이터와 부분 관측 조건에서만 훈련된 DRL 기반 엔드 투 엔드 주행 정책이, 원형 교차로와 같은 새로운, 미리 보지 않은 도심 교차로 시나리오에 효과적으로 일반화될 수 있는가?
• RQ2 비지도 대비 표현 학습이 가림과 노이즈가 존재하는 라이다 기반 자율주행 환경에서 샘플 효율성과 성능 향상에 어떻게 기여하는가?
• RQ3 제안된 방법이 성공률, 안전성, 효율성 측면에서 감독 기반 이mitation 학습 베이스라인과 철저히 튜닝된 규칙 기반 시스템을 모두 초월하는가?
• RQ4 에이전트는 부분 관측치와 시간적 동적 변화를 바탕으로 다른 차량의 의도(예: 공격적 vs. 관대한 행동)를 얼마나 잘 추론할 수 있는가?
• RQ5 시각화된 시각화 지도를 통해 드러나는 모델의 주의 패턴이, 복잡한 상황에서 인간 중심의 주행 논리와 얼마나 일치하는가?

주요 결과

• Carl-Lead는 새로운 원형 교차로 시나리오에서 68.5%의 성공률을 기록했으며, 동일 조건에서 규칙 기반 방법의 35%보다 약 두 배 높은 성능을 보였다.
• 모든 평가 과제(비보호 좌회전, 차선 통합 등)에서 감독 기반 이mitation 학습 베이스라인 전부를 성공률 측면에서 능가했다.
• T-Left 과제에서 Carl-Lead는 93.5%의 성공률을 기록하여 SOTA 이mitation 학습 베이스라인보다 유의미하게 높았다.
• 기존의 베이스라인 대비 새로운 환경에 더 잘 일반화되어 있어, 교통 패턴과 기하학적 구조의 분포 이탈에 대비한 강건성을 보였다.
• 정성적 분석 결과, 에이전트가 시간적 관측 시퀀스에 따라 행동을 동적으로 조정할 수 있었으며, 예를 들어 공격적인 차량에는 브레이크를, 양보하는 차량에는 가속을 하는 등 적절한 반응을 보였다.
• 시각화 지도 분석을 통해 정책이 맥락 기반으로 관련 교통 참가자와 향후 경로에 주의를 기울이고 있음을 확인했으며, 이는 지능적인 의사결정을 반영하고 있었다.