[논문 리뷰] DBQ-SSD: Dynamic Ball Query for Efficient 3D Object Detection

Jinrong Yang, Song Lin외 7명|arXiv (Cornell University)|2022. 07. 22.

Robotics and Sensor-Based Localization인용 수 12

한 줄 요약

이 논문은 입력 특징에 기반해 유의미한 점 특징을 적응적으로 선택하는 동적 볼 쿼리 메커니즘인 DBQ-SSD를 제안한다. 이는 3D 객체 검출에서 부작용적인 계산을 감소시킨다. 다중 척도 그룹화에서 관련성이 있는 수신 영역만 활성화하기 위해 학습 가능한 마스크 라우터를 사용함으로써, 성능 저하 없이 추론 속도를 30%-100% 향상시킨다. KITTI에서는 최대 162 FPS, Waymo/ONCE에서는 30 FPS를 달성한다. 또한 더 나은 전경 재현율과 배경 억제로 인해 일부 지표가 향상된다.

ABSTRACT

Many point-based 3D detectors adopt point-feature sampling strategies to drop some points for efficient inference. These strategies are typically based on fixed and handcrafted rules, making it difficult to handle complicated scenes. Different from them, we propose a Dynamic Ball Query (DBQ) network to adaptively select a subset of input points according to the input features, and assign the feature transform with a suitable receptive field for each selected point. It can be embedded into some state-of-the-art 3D detectors and trained in an end-to-end manner, which significantly reduces the computational cost. Extensive experiments demonstrate that our method can increase the inference speed by 30%-100% on KITTI, Waymo, and ONCE datasets. Specifically, the inference speed of our detector can reach 162 FPS on KITTI scene, and 30 FPS on Waymo and ONCE scenes without performance degradation. Due to skipping the redundant points, some evaluation metrics show significant improvements. Codes will be released at https://github.com/yancie-yjr/DBQ-SSD.

연구 동기 및 목표

• 기존 3D 포인트 기반 검출기에서 배경 포인트 처리의 부작용과 고정된 수신 영역으로 인한 높은 계산 비용 문제를 해결하기 위해.
• IA-SSD와 같은 최신 검출기의 지연 시간을 줄이기 위해 배경 포인트에서 불필요한 특징 계산을 제거하기 위해.
• 포인트 특징에 기반해 동적으로 수신 영역을 할당하는 데이터 기반의 적응형 샘플링 메커니즘을 설계하기 위해.
• 자원 예산 손실을 통해 추론 속도와 검출 정확도 사이의 더 나은 트레이드오���을 달성하기 위해.
• 기존 검출기 아키텍처 내에서 동적 쿼리 메커니즘을 엔드 투 엔드로 훈련시킬 수 있도록 하기 위해.

제안 방법

• 각 포인트에 대해 이진 마스크를 예측하기 위해 경량 MLP를 사용하는 학습 가능한 라우팅 메커니즘인 동적 볼 쿼리(DBQ)를 제안한다. 이 마스크는 다중 척도 그룹화(MSG) 브랜치 중 어떤 것을 활성화할지 결정한다.
• 각 샘플된 포인트에 대해 특징 표현에 기반해 고유하고 적응적인 수신 영역을 할당하는 라우터를 도입하여, 고정 반경 볼 쿼리의 대체로 사용한다.
• 훈련 중에 지연 시간과 성능의 균형을 맞추기 위해 자원 예산 손실을 적용한다. 이는 계산 자원의 효율적 사용을 장려한다.
• DBQ를 기존 단일 단계 3D 검출기(예: IA-SSD)에 통합하여 엔드 투 엔드 훈련이 가능하게 하며, 플러그 앤 플레이 통합을 가능하게 한다.
• 초기 포인트 샘플링에 상위-k 분류 점수 또는 FPS를 사용한 후, DBQ를 통해 각 포인트의 관련성이 있는 이웃 포인트만 선택적으로 처리한다.
• 특징 기반 라우팅에 기반해 유의미한 브랜치만 계산하는 동적 브랜치 활성화를 포함한 다중 척도 그룹화(MSG)를 적용한다.

실험 결과

연구 질문

• RQ1 IA-SSD와 같은 최신 3D 포인트 기반 검출기에서 주요 지연 장애 요인이 무엇인가?
• RQ2 3D 특징 추출 과정에서 부작용적인 배경 포인트 특징을 효과적으로 걸러낼 수 있는가?
• RQ3 학습 가능한, 특징에 의존하는 라우팅 메커니즘이 3D 검출에서 다중 척도 그룹화의 효율성을 향상시킬 수 있는가?
• RQ4 적응적인 수신 영역 선택을 통해 정확도 저하 없이 상당한 속도 향상을 달성할 수 있는가?
• RQ5 계산 비용과 검출 성능의 균형을 맞출 수 있는 미분 가능하고 엔드 투 엔드로 훈련 가능한 메커니즘을 설계할 수 있는가?

주요 결과

• DBQ-SSD는 KITTI 데이터셋에서 162 FPS를 달성하여 기준 검출기 대비 30%-100%의 속도 향상을 보였다. 성능 저하 없이도 성능이 유지되었다.
• Waymo 및 ONCE 데이터셋에서는 추론 속도가 20 FPS에서 30 FPS로 향상되어 50% 향상되었다.
• 자원 예산 초모수 γ를 0.1으로 설정했을 때, ONCE 검증 세트에서 IA-SSD 대비 1.7배의 속도 향상과 1 mAP 향상을 달성했다.
• 효율적인 배경 특징 억제 덕분에 KITTI에서 지연 시간이 37% 감소했다(1회 추론당 9.85ms에서 6.172ms로).
• 실증 분석 결과, 추론 시간의 절반 이상이 MLP에서 소모되며, 배경 포인트의 공간적 부작용이 주요 장애 요인임을 확인했다.
• 동적 라우팅 메커니즘이 각 포인트의 관련 수신 영역만 활성화함으로써 다중 척도 그룹화의 브랜치 부작용을 성공적으로 감소시켰다.