[논문 리뷰] PolarFormer: Multi-camera 3D Object Detection with Polar Transformer

Yanqin Jiang, Li Zhang외 5명|arXiv (Cornell University)|2022. 06. 30.

Advanced Neural Network Applications인용 수 7

한 줄 요약

PolarFormer는 다중 카메라 3D 객체 검출을 위한 새로운 Transformer 기반 아키텍처를 제안하며, 자동차의 웨지형 시각적 시점과 더 잘 일치하는 극좌표계를 활용한다. 비정규 극좌표 격자 구조를 처리하기 위해 크로스 어텐션 디코더를 사용하고, 물체의 크기 변화 문제를 다루기 위해 다중 해상도 표현 전략을 채택함으로써, 후처리 없이도 nuScenes에서 SOTA 성능을 달성하여, 카르테시안 기반 방법보다 mAP에서 1.1% 향상되고 NDS에서 0.2% 향상되었다.

ABSTRACT

3D object detection in autonomous driving aims to reason "what" and "where" the objects of interest present in a 3D world. Following the conventional wisdom of previous 2D object detection, existing methods often adopt the canonical Cartesian coordinate system with perpendicular axis. However, we conjugate that this does not fit the nature of the ego car's perspective, as each onboard camera perceives the world in shape of wedge intrinsic to the imaging geometry with radical (non-perpendicular) axis. Hence, in this paper we advocate the exploitation of the Polar coordinate system and propose a new Polar Transformer (PolarFormer) for more accurate 3D object detection in the bird's-eye-view (BEV) taking as input only multi-camera 2D images. Specifically, we design a cross attention based Polar detection head without restriction to the shape of input structure to deal with irregular Polar grids. For tackling the unconstrained object scale variations along Polar's distance dimension, we further introduce a multi-scalePolar representation learning strategy. As a result, our model can make best use of the Polar representation rasterized via attending to the corresponding image observation in a sequence-to-sequence fashion subject to the geometric constraints. Thorough experiments on the nuScenes dataset demonstrate that our PolarFormer outperforms significantly state-of-the-art 3D object detection alternatives.

연구 동기 및 목표

• 표준 카르테시안 좌표계와 다중 카메라 자동차 시점의 자연스러운 웨지형 시각적 시점 간의 정렬 불일치 문제를 해결하기 위해.
• 조감도(BEV) 표현에서 극좌표계의 기하학적 특성을 활용하여 3D 객체 검출 정확도를 향상시키기 위해.
• 극좌표 격자 구조의 비정규성과 반경 방향에서의 제약 없는 물체 크기 변화에 기인하는 과제를 극복하기 위해.
• 입력 격자 형태에 관계없이 불변인 쿼리 기반 검출 헤드를 설계하여 다중 카메라 이미지에서 유도된 기하학적 제약 조건을 존중하기 위해.
• 심도 감독 없이도 복잡한 후처리 없이도 카르테시안 기반 방법보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 모델은 규칙적인 격자 구조에 제한되지 않는 크로스 어텐션 기반 디코더 헤드를 사용하여, 다중 카메라 이미지에서 유도된 비정규 극좌표 격자 구조를 효과적으로 처리할 수 있도록 한다.
• 극좌표계의 반경(거리) 방향에서의 물체 크기 변화를 다루기 위해 다중 해상도 극좌표 BEV 표현 학습 전략을 도입한다.
• 기하학적 제약 조건 하에서 해당 이미지 관측치를 참조하는 순서-순서 크로스 어텐션 메커니즘을 통해 이미지 특징에서 극좌표 표현을 래스터라이제이션한다.
• 3D 레이 위치 기반으로 위치 임베딩을 학습하거나 생성하여 극좌표 BEV 공간에서 공간적 구조를 유지한다.
• 다중 수준의 특징을 피라미드 네트워크(FPN)에서 추출한 특징을 극선에 통합하기 위해 크로스 플레인 인코더를 활용하여 다중 해상도 특징 학습을 가능하게 한다.
• 제거 분석을 통해 극좌표계와 다중 해상도 설계의 필요성을 입증하였으며, 특히 크기 변화 문제를 다룰 때 유의미한 효과를 보였다.

실험 결과

연구 질문

• RQ1 다중 카메라 환경에서 기존의 카르테시안 좌표계에 비해 극좌표계를 사용할 경우 3D 객체 검출 성능이 향상되는가?
• RQ2 규칙적인 격자 구조를 가정하지 않더라도 크로스 어텐션 디코더가 비정규 극좌표 격자 구조를 효과적으로 처리할 수 있는가?
• RQ3 극좌표 BEV 공간에서의 다중 해상도 표현 학습 전략은 다양한 거리에서 크기가 다른 물체에 대해 검출 성능에 어떤 영향을 미치는가?
• RQ4 카르테시안 BEV 표현에 비해 극좌표계는 가까운 영역과 먼 영역 간의 정보 손실을 얼마나 줄이는가?
• RQ5 후처리 없이도 극좌표 공간에서의 통합된 검출 헤드가 최적화된 카르테시안 기반 기준보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• PolarFormer는 nuScenes 검증 세트에서 0.389 mAP와 0.456 NDS를 기록하여, 강력한 카르테시안 기반 기준인 Centerpoint보다 mAP에서 1.1% 향상되고 NDS에서 0.2% 향상되었다.
• 후처리 없이도 Centerpoint를 초월하여, 극표현이 특징 학습과 디코딩 양 측면에서 효과적임을 입증하였다.
• 극표현은 가까운 영역(빨간색)에서의 정보 손실를 줄이고, 먼 영역(초록색)에서 불필요한 업샘플링을 방지하며, 카르테시안 BEV와 달리 공간 분포를 왜곡하지 않는다.
• 다중 해상도 극좌표 BEV 설계는 특히 크기 변화 문제를 다룰 때 뚜렷한 성능 향상을 가져오지만, 동일한 전략은 카르테시안 공간에서는 거의 유의미한 이득을 제공하지 못한다.
• 제거 분석 결과, 특징 표현과 예측 모두 극좌표계를 사용할 경우, 심지어 특징은 극좌표계를 사용하고 예측만 카르테시안으로 하는 경우보다 더 높은 성능을 달성한다.
• 최적의 극좌표 BEV 해상도는 256개의 아즈마스 이격 및 64개의 반경 이격로, 공간 해상도와 계산 비용을 균형 있게 조절한다.