[논문 리뷰] TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving

Kashyap Chitta, Aditya Prakash외 4명|arXiv (Cornell University)|2022. 05. 31.

Advanced Neural Network Applications인용 수 12

한 줄 요약

TransFuser는 자기주의 주의를 사용하여 이미지 및 LiDAR 특징을 융합하는 트랜스포머 기반 다중모달 융합 아키텍처를 제안하며, 3차원 환경의 전역적 맥락을 포착함으로써 자율주행을 위한 엔드 투 엔드 복제 학습을 크게 향상시킨다. 이는 기하 기반 융합 방법 대비 48% 감소한 충돌 수를 기록하며 CARLA 랭킹에서 최고 성능을 달성한다.

ABSTRACT

How should we integrate representations from complementary sensors for autonomous driving? Geometry-based fusion has shown promise for perception (e.g. object detection, motion forecasting). However, in the context of end-to-end driving, we find that imitation learning based on existing sensor fusion methods underperforms in complex driving scenarios with a high density of dynamic agents. Therefore, we propose TransFuser, a mechanism to integrate image and LiDAR representations using self-attention. Our approach uses transformer modules at multiple resolutions to fuse perspective view and bird's eye view feature maps. We experimentally validate its efficacy on a challenging new benchmark with long routes and dense traffic, as well as the official leaderboard of the CARLA urban driving simulator. At the time of submission, TransFuser outperforms all prior work on the CARLA leaderboard in terms of driving score by a large margin. Compared to geometry-based fusion, TransFuser reduces the average collisions per kilometer by 48%.

연구 동기 및 목표

• 고밀도 교통량을 가진 복잡한 도심 주행 환경에서 기존 센서 융합 방법의 한계를 해결하기 위해.
• 이미지 및 LiDAR 모odal 간의 전역적 맥락 추론을 통합하여 복제 학습 정책을 향상시키기 위해.
• 인식 및 결정 과정을 향상시키기 위한 강력하고 일반적인 융합 메커니즘을 개발하기 위해.
• 실제 주행 성능 평가를 위해 장거리, 고밀도 교통 루트를 기반으로 한 새로운 벤치마크를 설정하기 위해.
• 주의 기반 융합이 어려운 주행 환경에서 국소성 기반 기하 융합보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• TransFuser는 이미지 및 LiDAR 특징을 독립적으로 처리하기 위해 두 개의 별도된 컨volutional 인코더 브랜치를 사용한다.
• 다중 해상도 트랜스포머 모듈을 활용하여 시점 시각 및 베이비즈 아이뷰 표현의 특징을 융합한다.
• 주의 메커니즘이 모달 간 특징 간 장거리 쌍별 상호작용을 가능하게 하여 전역적 환경 맥락을 포착한다.
• 엔드 투 엔드 주행을 위한 자동 회귀 웨이포인트 예측 프레임워크에 모델을 통합한다.
• 다중 작업 학습 설정과 보조 감독 신호를 통해 훈련 안정성과 성능을 향상시킨다.
• 장거리 루트와 고밀도 교통량을 가진 새로운 Longest6 벤치마크 및 공식 CARLA 랭킹에서 평가된다.

실험 결과

연구 질문

• RQ1 주의 기반 융합이 복잡한 도심 주행 환경에서 복제 학습 성능을 향상시키는가?
• RQ2 다중 밀도 교통 환경에서 트랜스포머를 통한 전역 맥락 모델링이 국소성 기반 기하 융합보다 얼마나 우수한가?
• RQ3 다중모달 주의 기반 융합이 엔드 투 엔드 주행에서 충돌 및 위반 횟수를 얼마나 감소시키는가?
• RQ4 장거리, 고밀도 루트를 갖춘 제안된 벤치마크는 이전 융합 방법의 한계를 어떻게 드러내는가?
• RQ5 보조 감독 및 센서 구성은 주행 정책 일반화를 향상시키는 데 어떤 역할을 하는가?

주요 결과

• TransFuser는 Longest6 벤치마크에서 56.68의 주행 점수를 기록하여 이전 방법들을 크게 앞서간다.
• 공식 CARLA 랭킹에서 TransFuser는 제출 당시 가장 높은 주행 점수를 기록하여 모든 이전 작업을 초월한다.
• 기하 기반 융합 방법 대비 평균 1km당 충돌 수를 48% 감소시켰다.
• 카메라 시야각을 90°에서 132°로 확장함으로써 주행 점수가 7.5 포인트 향상되었다.
• 속도 입력과 천천히 이동하는 행동의 포함이, 특히 관성 특성이 높은 상황에서 충돌 빈도를 감소시켰다.
• 모델 성능은 다양한 랜덤 시드에 대해 안정적이었으며, 최고의 설정에서 56.68의 주행 점수와 92.28%의 충돌 감소율을 기록했다.