[논문 리뷰] FocalFormer3D : Focusing on Hard Instance for 3D Object Detection

Yilun Chen, Zhiding Yu외 5명|arXiv (Cornell University)|2023. 08. 08.

Advanced Neural Network Applications인용 수 5

한 줄 요약

FocalFormer3D는 3차원 객체 탐지에서 검출이 어려운 객체(거짓 음성)를 반복적으로 식별하고 집중하기 위해 하드 인스턴스 프로빙(HIP)을 제안한다. 이는 쉽게 탐지되는 양성 예측을 억제하고, 박스 수준의 변형 가능 트랜스포머 디코더를 통해 예측를 정밀하게 개선함으로써 이루어진다. 이는 nuScenes LiDAR 탐지에서 70.5 mAP와 73.9 NDS를 기록하며, 탐지 및 추적 랭킹 모두 1위를 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

False negatives (FN) in 3D object detection, {\em e.g.}, missing predictions of pedestrians, vehicles, or other obstacles, can lead to potentially dangerous situations in autonomous driving. While being fatal, this issue is understudied in many current 3D detection methods. In this work, we propose Hard Instance Probing (HIP), a general pipeline that identifies extit{FN} in a multi-stage manner and guides the models to focus on excavating difficult instances. For 3D object detection, we instantiate this method as FocalFormer3D, a simple yet effective detector that excels at excavating difficult objects and improving prediction recall. FocalFormer3D features a multi-stage query generation to discover hard objects and a box-level transformer decoder to efficiently distinguish objects from massive object candidates. Experimental results on the nuScenes and Waymo datasets validate the superior performance of FocalFormer3D. The advantage leads to strong performance on both detection and tracking, in both LiDAR and multi-modal settings. Notably, FocalFormer3D achieves a 70.5 mAP and 73.9 NDS on nuScenes detection benchmark, while the nuScenes tracking benchmark shows 72.1 AMOTA, both ranking 1st place on the nuScenes LiDAR leaderboard. Our code is available at \url{https://github.com/NVlabs/FocalFormer3D}.

연구 동기 및 목표

• 자율주행을 위한 3차원 객체 탐지에서 간과되기 쉬운 거짓 음성 탐지 문제를 해결하기 위해.
• 다단계에서 하드 인스턴스(즉, 놓친 진짜 객체)를 명시적으로 식별하고 집중함으로써 모델의 재현율을 향상시키기 위해.
• 기존 3차원 탐지기와의 통합이 용이하고 최소한의 오버헤드를 가지는 일반화 가능한 파이프라인인 하드 인스턴스 프로빙(HIP)을 개발하기 위해.
• 반복적인 개선을 통해 LiDAR 및 다중 모odal 환경에서의 탐지 및 추적 성능을 향상시키기 위해.
• 가림이나 혼잡한 배경으로 인한 치명적인 탐지 오류(예: 보행자나 차량을 놓침)를 줄이기 위해.

제안 방법

• 하드 인스턴스 프로빙(HIP)은 각 단계에서 이전 단계의 거짓 음성 탐지에 집중하며, 이미 예측된 참 양성 예측을 억제하는 다단계 예측 파이프라인을 사용한다.
• 쉬운 양성 샘플을 제외하기 위해 단계 간에 클래스 인식 기반 누적 양성 마스크를 유지한다.
• 다단계 히트맵 예측을 생성하고 통합하여 초기 객체 후보를 생성하며, 각 단계에서 이전에 놓친 객체의 탐지를 정밀하게 개선한다.
• RoIAlign 특징을 사용하여 상황 인식 기반 쿼리 상호작용과 향상된 국소화를 가능하게 하는 박스 수준의 변형 가능 트랜스포머 디코더를 수행한다.
• 최종 객체 후보에 대해 재순서 전략을 적용하여, 히트맵 점수 순위만으로는 부족한 선택 정확도를 향상시킨다.
• 이 방법은 기존 BEV 기반 탐지기의 경량 확장판인 FocalFormer3D로 구현되었으며, 계산 오버헤드가 최소한이다.

실험 결과

연구 질문

• RQ1 하드 인스턴스에 집중하는 다단계 탐지 파이프라인은 3차원 객체 탐지에서 거짓 음성을 효과적으로 줄일 수 있는가?
• RQ2 누락된 진짜 객체를 반복적으로 프로빙함으로써 평균 재현율과 탐지 성능은 어떻게 향상되는가?
• RQ3 박스 수준의 정밀화와 재순서 전략은 히트맵에서 생성된 객체 후보의 품질에 어떤 영향을 미치는가?
• RQ4 제안된 HIP 프레임워크는 LiDAR 및 다중 모달 설정을 포함한 다양한 센서 모달리티에서 어떻게 성능을 발휘하는가?
• RQ5 이 방법은 가림이나 혼잡한 배경과 같은 어려운 상황에 얼마나 일반화되는가?

주요 결과

• FocalFormer3D는 nuScenes 3D LiDAR 탐지 벤치마크에서 70.5 mAP와 73.9 NDS를 기록하며 공식 랭킹에서 1위를 달성했다.
• nuScenes 추적 벤치마크에서는 72.1 AMOTA를 기록하여 역시 1위를 기록하며 추적 작업으로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 제거 실험 결과, 변형 가능 어텐션과 박스 풀링을 포함한 완전한 박스 수준 정밀화 모듈은 기준 모델 대비 mAP +1.4, NDS +1.2 향상시켰다.
• 풀링 기반 마스킹 전략이 가장 높은 성능 향상을 기록했으며(+1.2 mAP, +0.7 NDS)로, 진짜 객체를 마스킹할 위험이 적어 박스 기반 마스킹보다 뛰어났다.
• 재순서 전략만으로도 66.1 mAP를 기록하여, 초기 히트맵 점수만으로는 후보 순위 정확도가 부족함을 입증하며, 두 번째 단계의 개선이 반드시 필요하다는 것을 확인했다.
• 지연 시간 분석 결과, FocalFormer3D는 TransFusion-L 대비 오직 16ms의 오버헤드(총 109ms)만을 추가하며, 주로 백본에서 비용이 발생하여 실시간 배포에 효율적이다.