[논문 리뷰] PVT-SSD: Single-Stage 3D Object Detector with Point-Voxel Transformer

Honghui Yang, Wenxiao Wang외 6명|arXiv (Cornell University)|2023. 05. 11.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

PVT-SSD는 포인트와 벌크 토큰을 Point-Voxel Transformer(PVT)를 통해 통합함으로써 벌크화 과정에서 발생하는 양자화 오차와 포인트 기반 방법의 샘플링 오버헤드를 해결하는 단일 단계 3D 객체 검출기이다. 희박한 벌크에서 입력에 따라 결정되는 쿼리 초기화와 가상의 범위 이미지를 사용하여 이웃 검색을 빠르게 하며, KITTI, Waymo, nuScenes에서 최신 기술 수준의 성능을 달성하여 KITTI에서 65.01 APH의 성능을 기록한다.

ABSTRACT

Recent Transformer-based 3D object detectors learn point cloud features either from point- or voxel-based representations. However, the former requires time-consuming sampling while the latter introduces quantization errors. In this paper, we present a novel Point-Voxel Transformer for single-stage 3D detection (PVT-SSD) that takes advantage of these two representations. Specifically, we first use voxel-based sparse convolutions for efficient feature encoding. Then, we propose a Point-Voxel Transformer (PVT) module that obtains long-range contexts in a cheap manner from voxels while attaining accurate positions from points. The key to associating the two different representations is our introduced input-dependent Query Initialization module, which could efficiently generate reference points and content queries. Then, PVT adaptively fuses long-range contextual and local geometric information around reference points into content queries. Further, to quickly find the neighboring points of reference points, we design the Virtual Range Image module, which generalizes the native range image to multi-sensor and multi-frame. The experiments on several autonomous driving benchmarks verify the effectiveness and efficiency of the proposed method. Code will be available at https://github.com/Nightmare-n/PVT-SSD.

연구 동기 및 목표

• 포인트 기반 및 벌크 기반 3D 검출기의 한계를 해결한다: 포인트 방법의 높은 샘플링 비용과 벌크 방법의 양자화 오차.
• 벌크의 장거리 컨텍스트와 포인트의 정밀 기하학적 세부 정보를 융합함으로써 포인트와 벌크 표현의 강점을 통합한다.
• 다중 센서 및 다중 프레임 환경에서 이웃 검색의 오버헤드를 줄이기 위해 일반화된 가상의 범위 이미지 모듈을 도입하여 추론 지연을 감소시킨다.
• 학습 가능한 입력 기반 쿼리 초기화 메커니즘을 통해 더 나은 초기 쿼리 위치와 콘텐츠 쿼리를 학습시켜 검출 정확도를 향상시킨다.
• 계산 효율성을 유지하면서 주요 3D 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 희박한 컨volution을 통해 비어 있지 않은 3D 벌크를 샘플링하고, 이를 2D 벌크로 압축한 후 다시 3D로 복원하여 기준점(참조점)을 생성하는 입력 기반 쿼리 초기화 모듈을 제안한다.
• 기준점을 Bird's Eye View(BEV) 특징 맵에 투영하고, 투영된 위치에서 특징을 인덱싱하여 콘텐츠 쿼리를 생성한다.
• 유사도에 따라 포인트 토큰(세밀한 기하학적 세부 정보)과 벌크 토큰(장거리 컨텍스트)을 교차 어텐션을 통해 적응적으로 융합하는 Point-Voxel Transformer(PVT) 모듈을 설계한다.
• 원래의 LiDAR 범위 이미지를 다중 센서 및 다중 프레임 융합을 지원하도록 일반화한 가상의 범위 이미지 모듈을 도입하여, 범위 이미지 좌표를 통해 이웃 검색을 빠르고 효율적으로 수행한다.
• 반경 기반 볼 쿼리와 순차적 및 무작위 샘플링 전략을 활용하며, 무작위 샘플링은 점의 비균일 분포를 피함으로써 성능 향상을 이룬다.
• Transformer 블록에 맥락 기반 상대적 위치 인코딩을 적용하여 특징 표현을 향상시키며, 절대 및 편향 모드 인코딩보다 우수한 성능을 기록한다.

실험 결과

연구 질문

• RQ1 단일 단계 3D 검출기가 벌크 기반 처리의 효율성과 포인트 기반 표현의 정확성을 효과적으로 융합할 수 있는가?
• RQ2 비어 있지 않은 벌크에서 쿼리 초기화를 수행하면 포인트 기반 샘플링 대비 샘플링 시간을 줄일 수 있을까, 그리고 검출 품질은 유지 또는 향상되는가?
• RQ3 교차 어텐션을 통한 벌크 및 포인트 특징 융합이 장거리 및 세밀한 기하학적 특징에 대해 검출 성능을 얼마나 향상시키는가?
• RQ4 일반화된 가상의 범위 이미지 모듈이 다양한 센서 구성과 다중 프레임 설정에서 이웃 검색을 얼마나 빠르게 가속화할 수 있는가?
• RQ5 다양한 샘플링 전략과 위치 인코딩 방식은 제안된 아키텍처에서 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• PVT-SSD는 KITTI 벤치마크에서 65.01 APH를 기록하여 이전 방법들을 능가하며 최신 기술 수준의 성능을 입증하였다.
• 쿼리 초기화에서 S-FPS 샘플링 전략은 FPS 대비 11.25 APH 향상, F-FPS 대비 0.48 APH 향상을 기록하여 객체에 속할 가능성이 높은 벌크를 우선적으로 선택함으로써 성능 향상을 이룬다.
• Point-Voxel Transformer 모듈은 포인트 토큰을 통해 1.58 APH, 벌크 토큰을 통해 0.45 APH 기여를 하며, 특징 정렬이 추가로 0.87 APH의 성능 향상을 이룬다.
• 가상의 범위 이미지 기반 볼 쿼리는 원래의 볼 쿼리 대비 200K점 클라우드에서 29.7배의 속도 향상을 기록하여 추론 효율성을 크게 향상시켰다.
• 맥락 기반 상대적 위치 인코딩은 절대 인코딩 대비 1.72 APH, 편향 모드 인코딩 대비 1.00 APH 성능 향상을 기록하여 표현 학습에서의 중요성을 입증하였다.
• 제거 분석 결과, 최적값을 초과하는 수용장(예: $r_v = 8.0$, $r_p = 3.2$)으로 확장할 경우 노이즈와 관련 없는 점 샘플링으로 인해 성능이 포화 또는 감소함을 확인하였다.