[논문 리뷰] Fast-BEV: A Fast and Strong Bird's-Eye View Perception Baseline

Yangguang Li, Bin Huang외 9명|arXiv (Cornell University)|2023. 01. 29.

Advanced Neural Network Applications인용 수 6

한 줄 요약

Fast-BEV는 자율주행을 위한 빠르고 강력하며 배포에 유리한 Bird's-Eye View (BEV) 인식 프레임워크를 제안하며, 차량 내 칩에서 낮은 추론 지연으로 높은 성능을 달성한다. 이는 효율적인 2D에서 3D 특징 투영을 위한 새로운 Fast-Ray 변환을 사용하고, 다중 척도 이미지 인코더, 효율적인 BEV 인코더, 시간적 융합을 통합하여, 고비용의 트랜스포머나 깊이 감독 없이도 실시간 추론(최대 53.5% NDS, nuScenes 기준)을 가능하게 한다.

ABSTRACT

Recently, perception task based on Bird's-Eye View (BEV) representation has drawn more and more attention, and BEV representation is promising as the foundation for next-generation Autonomous Vehicle (AV) perception. However, most existing BEV solutions either require considerable resources to execute on-vehicle inference or suffer from modest performance. This paper proposes a simple yet effective framework, termed Fast-BEV , which is capable of performing faster BEV perception on the on-vehicle chips. Towards this goal, we first empirically find that the BEV representation can be sufficiently powerful without expensive transformer based transformation nor depth representation. Our Fast-BEV consists of five parts, We novelly propose (1) a lightweight deployment-friendly view transformation which fast transfers 2D image feature to 3D voxel space, (2) an multi-scale image encoder which leverages multi-scale information for better performance, (3) an efficient BEV encoder which is particularly designed to speed up on-vehicle inference. We further introduce (4) a strong data augmentation strategy for both image and BEV space to avoid over-fitting, (5) a multi-frame feature fusion mechanism to leverage the temporal information. Through experiments, on 2080Ti platform, our R50 model can run 52.6 FPS with 47.3% NDS on the nuScenes validation set, exceeding the 41.3 FPS and 47.5% NDS of the BEVDepth-R50 model and 30.2 FPS and 45.7% NDS of the BEVDet4D-R50 model. Our largest model (R101@900x1600) establishes a competitive 53.5% NDS on the nuScenes validation set. We further develop a benchmark with considerable accuracy and efficiency on current popular on-vehicle chips. The code is released at: https://github.com/Sense-GVT/Fast-BEV.

연구 동기 및 목표

• 자원 제약이 있는 차량 내 칩에 고성능 BEV 인식 모델을 구현하는 데 도전한다.
• 기존의 트랜스포머나 깊이 예측 기반 BEV 방법의 느린 추론과 배포 난이도 문제를 해결한다.
• NVIDIA Xavier 및 비GPU 칩과 같은 저성능 컴퓨팅 플랫폼에서도 효율적이고 실시간 추론을 가능하게 한다.
• 깊이 감독 없이도 실제 카메라 데이터만을 사용하여 확장 가능한 모델 훈련 및 배포를 지원한다.
• 속도, 정확도, 배포 가능성 간의 균형을 고려한 완전히 컨volutional인 종단 간 BEV 프레임워크를 개발한다.

제안 방법

• Look-Up-Table와 Multi-View to One-Voxel 연산을 활용한 가벼운, 배포에 유리한 2D에서 3D로의 시야 변환 기법인 Fast-Ray 변환을 제안하여 카메라 레이를 沿해 특징 투영을 가속화한다.
• 3층 FPN 구조를 가진 다중 척도 이미지 인코더를 도입하여 다중 척도 특징을 추출하고 투영함으로써 지연을 증가시키지 않고 성능을 향상시킨다.
• 최소한의 잔차 블록을 사용한 효율적인 BEV 인코더를 설계하여 계산 비용을 감소시키고 차량 내 추론 속도를 향상시킨다.
• 과적합을 방지하고 강건성을 향상시키기 위해 이미지 공간과 BEV 공간 모두에 적용되는 강력한 데이터 증강 전략을 도입한다.
• 시간 정보를 활용하여 검출 정확도를 향상시키기 위해 다중 프레임 특징 융합 기법을 통합한다.
• CUDA-TensorRT-INT8를 활용하여 차량 내 칩에 대한 전체 파이프라인 최적화를 수행하며, Xavier, Orin, T4 플랫폼에서의 추론 속도 벤치마킹을 수행한다.

실험 결과

연구 질문

• RQ1 저성능 차량 내 칩에서 낮은 추론 지연을 유지하면서도 고성능을 달성할 수 있는 BEV 인식 프레임워크는 가능한가?
• RQ2 정확도를 훼손하지 않고 고비용의 깊이 감독과 트랜스포머 기반 어텐션 메커니즘을 제거할 수 있는가?
• RQ3 가벼운 변환과 효율적인 인코더를 갖춘 완전히 컨volutional인 다중 척도 BEV 프레임워크는 실생활 배포 환경에서 얼마나 효과적인가?
• RQ4 깊이 레이블이 없는 실제 카메라 전용 데이터로 훈련했을 때도 프레임워크가 강력한 성능을 유지할 수 있는가?
• RQ5 다양한 차량 내 하드웨어 플랫폼에서 모델 크기, 추론 속도, 정확도 간의 상호 상충 관계는 어떠한가?

주요 결과

• 2080Ti 플랫폼에서 Fast-BEV의 R50 모델은 nuScenes 검증 세트에서 52.6 FPS, 47.3% NDS를 기록하여 BEVDepth-R50(41.3 FPS, 47.5% NDS)과 BEVDet4D-R50(30.2 FPS, 45.7% NDS)를 모두 앞서나간다.
• 가장 큰 Fast-BEV 모델(R101@900x1600)은 nuScenes 검증 세트에서 경쟁력 있는 53.5% NDS를 달성하여 뛰어난 성능을 입증한다.
• AGX Xavier 플랫폼에서 M0 모델은 19.7 FPS를 기록하여 저성능 플랫폼에서도 실시간 추론을 가능하게 한다.
• AGX Orin 플랫폼에서 M2 모델은 43.3 FPS를 기록하면서 R50 시리즈 수준의 성능을 유지하여 실시간 추론 요구 조건을 충족한다.
• 프레임워크는 강력한 배포 유연성을 보이며, CPU 友好的하고 CUDA 최적화된 설계 덕분에 Texas Instruments DSP와 같은 비GPU 칩에도 대응한다.
• 깊이 감독과 트랜스포머의 부재 덕분에 Fast-BEV는 깊이 레이블이 없는 실제 카메라 전용 데이터셋에서 효과적으로 훈련 및 배포가 가능하다.