[논문 리뷰] Vision-based Uneven BEV Representation Learning with Polar Rasterization and Surface Estimation

Zhi Liu, Shaoyu Chen외 7명|arXiv (Cornell University)|2022. 07. 05.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

PolarBEV는 극좌표 래스터라이제이션과 반복적 표면 추정을 활용한 시각 기반, 비균일한 베이비 익스프레션(비드뷰, BEV) 표현 학습 방법을 제안한다. 자동차 주변에 밀집하고 거리가 멀어지면 흐리게 분포하는 BEV 격자와 함께, 임bedded 분해를 통한 각도/반경 격자 간 연관성 모델링을 통해 실시간 추론(25 FPS)을 달성하고, 기존 방법보다 BEV 세분화 및 인스턴스 세분화에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this work, we propose PolarBEV for vision-based uneven BEV representation learning. To adapt to the foreshortening effect of camera imaging, we rasterize the BEV space both angularly and radially, and introduce polar embedding decomposition to model the associations among polar grids. Polar grids are rearranged to an array-like regular representation for efficient processing. Besides, to determine the 2D-to-3D correspondence, we iteratively update the BEV surface based on a hypothetical plane, and adopt height-based feature transformation. PolarBEV keeps real-time inference speed on a single 2080Ti GPU, and outperforms other methods for both BEV semantic segmentation and BEV instance segmentation. Thorough ablations are presented to validate the design. The code will be released at \url{https://github.com/SuperZ-Liu/PolarBEV}.

연구 동기 및 목표

• 시각 기반 자율주행 인식에서 균일하게 분포된 BEV 격자의 한계를 해결한다.
• 극좌표 기하학과 각도/반경 임베딩을 활용해 BEV 표현 내 공간적 의존성을 더 효과적으로 모델링한다.
• 깊이 예측 대신 반복적 높이 기반 변환을 사용해 2D에서 3D 특징 대응을 향상시킨다.
• 대규모 BEV 공간에서 고정확도를 유지하면서도 실시간 추론 속도를 확보한다.
• 자율주행에서 흔한 긴 꼬리 분포 및 거리 의존적 시나리오에서 효율적이고 정확한 인식을 가능하게 한다.

제안 방법

• 자신의 차량 주변에 밀집하고 거리가 멀어지면 흐리게 분포하는 격자를 반영하기 위해 극좌표를 사용해 BEV 공간을 래스터라이제이션한다.
• 3D 공간 위치에 기반한 극격자 간 연관성을 모델링하기 위해 각도별 및 반경별 임베딩을 도입한다.
• 반복적 BEV 표면 추정을 제안: 가상의 평면을 초기화하고 격자 높이를 개선하여 2D에서 3D 대응을 향상시킨다.
• 깊이 분포 대신 높이 기반 특징 변환을 사용하여 예측 오차와 계산 비용을 감소시킨다.
• 링 컨볼루션과 극좌표 임베딩 분해를 적용해 극격자 표현 내 특징 학습을 향상시킨다.
• 추정된 표면 높이에 따라 유도 가능한 변환을 통해 이미지 특징에서 BEV 특징 맵을 재구성한다.

실험 결과

연구 질문

• RQ1 거리 의존적 격자 분포를 갖는 극좌표 래스터라이제이션은 계산 비용을 줄이면서도 BEV 표현 품질을 향상시킬 수 있는가?
• RQ2 각도별 및 반경별 임베딩은 비균일 BEV 격자에서 특징 학습을 어떻게 향상시키는가?
• RQ3 높이 기반 변환을 사용하는 반복적 표면 추정은 정확도와 효율성 면에서 깊이 기반 특징 업프로젝션보다 뛰어나게 작용하는가?
• RQ4 극좌표 BEV 격자의 해상도가 세분화 성능과 메모리 사용에 미치는 영향은 어느 정도인가?
• RQ5 반복적 표면 추정 단계 수가 추론 속도와 세분화 정확도에 어떤 영향을 미치는가?

주요 결과

• PolarBEV는 단일 2080Ti GPU에서 25 FPS의 추론 속도를 달성하여 자율주행 시스템에서 실시간 구현이 가능하다.
• nuScenes 벤치마크에서 BEV 세분화(이우: 41.28%)와 인스턴스 세분화(PQ: 35.21%) 모두에서 기존 최신 기술(SOTA)을 능가한다.
• 2회 반복 추정이 정확도와 속도 간 최적의 트레이드오프를 달성하며, 1회 및 6회 반복 버전보다 뛰어난 성능을 발휘한다.
• 기본 모델 대비 극임베딩 분해를 통해 이우는 0.55점, PQ는 0.36점 향상되어 격자 간 연관성 모델링의 효과를 입증한다.
• 각도 및 반경 해상도를 높일수록 성능 향상이 이루어지며, 정확도와 메모리 사용을 균형 있게 유지하기 위해 최적 해상도는 400×100으로 설정된다.
• 높이 추정의 수치 범위가 작기 때문에 깊이 기반 접근법 대비 예측 오차가 크게 감소한다.