[논문 리뷰] Exploring Imitation Learning for Autonomous Driving with Feedback Synthesizer and Differentiable Rasterization

Jinyun Zhou, Rui Wang외 6명|arXiv (Cornell University)|2021. 03. 02.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 피드백 합성기와 태스크 특화 손실 계산을 위한 미분 가능 래스터라이저를 통한 데이터 증강 기반의 강화된 비학습 기반 자율주행 계획자 아키텍처를 제안한다. 본 방법은 피드백 기반 데이터 합성, 미분 가능 궤적-이미지 투영, 그리고 주목사용 기반의 장면 이해를 통합함으로써 70.0%의 ADS 통과율을 달성하며, 강인성, 안전성, 추론 속도 향상을 크게 개선한다.

ABSTRACT

We present a learning-based planner that aims to robustly drive a vehicle by mimicking human drivers' driving behavior. We leverage a mid-to-mid approach that allows us to manipulate the input to our imitation learning network freely. With that in mind, we propose a novel feedback synthesizer for data augmentation. It allows our agent to gain more driving experience in various previously unseen environments that are likely to encounter, thus improving overall performance. This is in contrast to prior works that rely purely on random synthesizers. Furthermore, rather than completely commit to imitating, we introduce task losses that penalize undesirable behaviors, such as collision, off-road, and so on. Unlike prior works, this is done by introducing a differentiable vehicle rasterizer that directly converts the waypoints output by the network into images. This effectively avoids the usage of heavyweight ConvLSTM networks, therefore, yields a faster model inference time. About the network architecture, we exploit an attention mechanism that allows the network to reason critical objects in the scene and produce better interpretable attention heatmaps. To further enhance the safety and robustness of the network, we add an optional optimization-based post-processing planner improving the driving comfort. We comprehensively validate our method's effectiveness in different scenarios that are specifically created for evaluating self-driving vehicles. Results demonstrate that our learning-based planner achieves high intelligence and can handle complex situations. Detailed ablation and visualization analysis are included to further demonstrate each of our proposed modules' effectiveness in our method.

연구 동기 및 목표

• 피드백 합성기를 통해 현재 정책 기반의 정책 내 데이터를 반복적으로 생성 및 변형하여 분포 이탈을 완화하는 온정책 학습 데이터를 생성함으로써 비학습 학습의 분포 이탈 문제를 해결한다.
• 충돌, 도로 외 주행, 교통 규칙 위반을 방지하기 위해 충돌, 도로 외 주행, 교통 신호 준수 등의 태스크 특화 손실을 도입함으로써 안전성과 태스크 준수성을 향상시킨다.
• 예측된 궤적을 픽셀 수준의 이미지로 변환하는 경량의 미분 가능 차량 래스터라이저를 도입함으로써 기존의 무거운 ConvLSTM 기반 네트워크를 대체하여 추론 지연을 감소시킨다.
• 공간 주목 메커니즘을 통합하여 주목 가능 열매맵을 생성함으로써 가시화 가능한 주목 히트맵을 제공하고, 이는 설명 가능성과 장면 이해를 향상시킨다.
• 옵티멀라이제이션 기반의 후처리 계획자(안전성 게이트키퍼)를 도입함으로써 주행 편안성과 강인성을 향상시킨다.

제안 방법

• 상하이맵 및 인식 표현을 입력으로 사용하는 미드-투-미드 비학습 학습 프레임워크를 활용하여 데이터 조작의 유연성을 확보한다.
• 현재 정책 기반으로 온정책 궤적을 반복적으로 생성 및 변형하는 피드백 합성기를 설계하여 분포 이탈을 감소시킨다.
• 예측된 웨이포인트를 픽셀 수준의 이미지로 변환하는 미분 가능 차량 래스터라이저를 구현하여 엔드 투 엔드의 미분 가능한 손실 계산을 가능하게 한다.
• 래스터라이저 출력과 사전 정의된 오브제크트 마스크를 비교하여 충돌, 도로 외 주행, 교통 신호 준수 등의 태스크 특화 손실을 통합한다.
• LSTM과 운동학 레이어를 포함한 궤적 복원 모듈을 사용하여 운동학적으로 타당한 궤적을 생성함으로써 AgentRNN과 같은 무거운 네트워크에 의존하지 않는다.
• 주목사용 기반의 장면 이해를 향상시키기 위해 핵심 교통 참가자를 강조하는 공간 주목 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 온정책 데이터를 생성하는 피드백 합성기가 자율주행 비학습 학습에서 일반화 능력 향상과 분포 이탈 감소에 기여하는가?
• RQ2 미분 가능 래스터라이제이션은 복잡한 시공간 네트워크에 의존하지 않고도 효율적이고 실시간 태스크 손실 계산을 가능하게 하는가?
• RQ3 미분 가능 래스터라이제이션을 통한 태스크 특화 손실 통합이 순수 비학습 학습에 비해 안전성과 교통 규칙 준수성을 얼마나 향상시키는가?
• RQ4 주목사용 기반의 특징 학습이 복잡한 주행 시나리오에서 설명 가능성과 성능 향상에 기여하는가?
• RQ5 옵션 기반의 후처리 계획자가 다양한 테스트 시나리오에서 높은 통과율을 유지하면서도 안전성과 주행 편안성을 향상시키는가?

주요 결과

• 피드백 합성기를 통한 데이터 증강으로 ADS 통과율이 M1의 45.7%에서 M2의 70.0%로 향상되어 모든 시나리오 유형에서 실패율이 크게 감소함을 입증하였다.
• 미분 가능 래스터라이저 덕분에 기존의 무거운 ConvLSTM 네트워크가 필요 없어져 실시간 추론이 가능해졌으며, 이는 이전 방법 대비 더 빠른 모델 추론을 가능하게 하였다.
• 후처리 계획자(M3)는 94.29%의 ADS 통과율을 달성하였고, 편안성 점수를 0.1342로 향상시켜 학습 기반 계획자와 전통적인 차선 중심선 계획자 모두를 능가하였다.
• 피드백 합성기를 통한 데이터 증강은 새로 제안된 편안성 지표를 통해 약간의 주행 편안성 감소를 드러내었으며, 이는 다양성과 부드러움 사이의 상충 관계를 시사한다.
• 가우시안 기반 래스터라이제이션에서의 절단을 적용한 모델(M1c)은 M1에 비해 성능이 열등하여, 긴 尾 distribution이 장애물 회피 및 교통 신호 준수에 도움이 된다는 것을 시사한다.
• 속도 위반과 도착 실패가 주요 실패 원인으로 규명되어, 향후 강화 학습 기반 손실 함수를 추가로 도입함으로써 향상 가능성이 있음을 시사한다.