[논문 리뷰] PolarBEVDet: Exploring Polar Representation for Multi-View 3D Object Detection in Bird's-Eye-View

Zichen Yu, Quanli Liu외 3명|arXiv (Cornell University)|2024. 08. 29.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

PolarBEVDet는 다중 시야 3D 객체 검출 프레임워크로서 기존의 균일한 카르테시안 BEV 표현 방식을 극좌표 BEV로 대체하여 비균일한 이미지 정보 분포와 시야 대칭성을 더 잘 반영한다. 극좌표 시야 트랜스포머, 극좌표 시간 통합, 극좌표 검출 헤드를 도입하고, 2D 보조 감독 및 공간 주의 메커니즘을 통합함으로써 nuScenes에서 SOTA 성능을 달성하였으며, NDS 52.7% 및 mAP 43.4%를 기록하였다.

ABSTRACT

Recently, LSS-based multi-view 3D object detection provides an economical and deployment-friendly solution for autonomous driving. However, all the existing LSS-based methods transform multi-view image features into a Cartesian Bird's-Eye-View(BEV) representation, which does not take into account the non-uniform image information distribution and hardly exploits the view symmetry. In this paper, in order to adapt the image information distribution and preserve the view symmetry by regular convolution, we propose to employ the polar BEV representation to substitute the Cartesian BEV representation. To achieve this, we elaborately tailor three modules: a polar view transformer to generate the polar BEV representation, a polar temporal fusion module for fusing historical polar BEV features and a polar detection head to predict the polar-parameterized representation of the object. In addition, we design a 2D auxiliary detection head and a spatial attention enhancement module to improve the quality of feature extraction in perspective view and BEV, respectively. Finally, we integrate the above improvements into a novel multi-view 3D object detector, PolarBEVDet. Experiments on nuScenes show that PolarBEVDet achieves the superior performance. The code is available at https://github.com/Yzichen/PolarBEVDet.git.(This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible)

연구 동기 및 목표

• 다중 시야 3D 검출에서 균일한 카르테시안 BEV 격자와 비균일한 이미지 정보 분포 간의 불일치 문제를 해결한다.
• 카르테시안 BEV에서의 이동 불변성 컨볼루션으로 인해 손상되는 둘레 카메라 간의 시야 대칭성을 유지한다.
• 보조 감독 및 주의 메커니즘을 통해 투시도 및 BEV 공간에서의 특징 품질을 향상시킨다.
• 다양한 검출 아키텍처에 걸쳐 극좌표 BEV 표현의 일반화 능력과 우수성을 입증한다.

제안 방법

• 다중 시야 이미지 특징을 극좌표 BEV 표현으로 변환하기 위해 각도 및 반경 격자 래스터화 방식을 적용한 극좌표 시야 트랜스포머를 도입한다.
• 이전의 극좌표 BEV 특징을 통합하여 시간적 일관성을 향상시키기 위해 극좌표 시간 통합 모듈을 설계한다.
• 극좌표 기반 표현을 사용해 3D 객체를 예측하는 극좌표 검출 헤드를 개발한다.
• 상자 회귀, 분류, 중심 회귀를 포함한 2D 보조 검출 헤드를 통합하여 이미지 영역에서의 특징 품질을 향상시킨다.
• 배경 노이즈를 억제하고 전경 객체를 강조하기 위해 BEV 공간에 공간 주의 강화 모듈을 적용한다.
• 모든 구성 요소를 통합한 LSS 기반 프레임워크인 PolarBEVDet를 구축하여 엔드 투 엔드 다중 시야 3D 검출을 구현한다.

실험 결과

연구 질문

• RQ1 극좌표 BEV 표현은 다중 시야 3D 검출에서 이미지 정보의 천연 분포와 더 잘 일치하는가?
• RQ2 극좌표 BEV는 둘레 카메라 간의 시야 대칭성을 유지하여 기존 컨볼루션 방식으로 인한 표현 불일치를 줄이는가?
• RQ3 2D 보조 감독은 이미지 및 BEV 공간에서의 특징 품질을 어떻게 향상시키는가?
• RQ4 네트워크 아키텍처에서 공간 주의 강화 모듈을 삽입할 최적의 위치는 어디인가?
• RQ5 극좌표 BEV 표현은 다양한 백본 아키텍처와 검출 헤드에 일반화되는가?

주요 결과

• PolarBEVDet는 nuScenes 벤치마크에서 NDS 52.7% 및 mAP 43.4%를 기록하여 카르테시안 BEV 대비 우수한 성능을 달성하였다.
• 모든 하위 작업(상자 회귀, 분류, 중심 회귀)을 통합한 2D 보조 감독은 mAP를 0.4% 향상시키고 NDS는 0.2% 향상시켰다.
• 공간 주의 강화 모듈을 BEV 인코더 이전에 삽입할 경우 최고의 성능을 기록하였으며, 이는 SAE 없을 경우 대비 mAP 0.5% 향상 및 NDS 0.4% 향상으로 나타났다.
• 극좌표 BEV 표현은 이동 오차 및 방향 오차를 모두 감소시켜 정위치 정확도 향상을 보였다.
• BEVDet4D 및 BEVDepth 모두 극좌표 버전에서 카르테시안 대비 일관된 성능 향상을 보이며 극좌표 BEV 접근의 보편성을 입증하였다.
• 정성적 결과에서는 소형 객체(예: 교통콘, 보행자)의 정확한 검출이 가능했으나, 먼 거리에 있는 객체 검출은 여전히 도전 과제로 남아 있었다.