[논문 리뷰] Uni3DETR: Unified 3D Detection Transformer

Zhenyu Wang, Yali Li외 3명|arXiv (Cornell University)|2023. 10. 09.

Advanced Neural Network Applications인용 수 5

한 줄 요약

Uni3DETR는 단일 아키텍처를 사용하여 실내 및 실외 환경을 동시에 처리하는 통합된 3D 객체 검출 트랜스포머를 제안한다. 이는 포인트-보크셀 교차 attention, 장면 인식 기능 활용을 위한 학습 가능한 쿼리 포인트와 비학습 가능한 쿼리 포인트의 혼합, 분리된 3D IoU 손실을 활용하여 도메인 특화 적응 없이 다양한 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing point cloud based 3D detectors are designed for the particular scene, either indoor or outdoor ones. Because of the substantial differences in object distribution and point density within point clouds collected from various environments, coupled with the intricate nature of 3D metrics, there is still a lack of a unified network architecture that can accommodate diverse scenes. In this paper, we propose Uni3DETR, a unified 3D detector that addresses indoor and outdoor 3D detection within the same framework. Specifically, we employ the detection transformer with point-voxel interaction for object prediction, which leverages voxel features and points for cross-attention and behaves resistant to the discrepancies from data. We then propose the mixture of query points, which sufficiently exploits global information for dense small-range indoor scenes and local information for large-range sparse outdoor ones. Furthermore, our proposed decoupled IoU provides an easy-to-optimize training target for localization by disentangling the xy and z space. Extensive experiments validate that Uni3DETR exhibits excellent performance consistently on both indoor and outdoor 3D detection. In contrast to previous specialized detectors, which may perform well on some particular datasets but suffer a substantial degradation on different scenes, Uni3DETR demonstrates the strong generalization ability under heterogeneous conditions (Fig. 1). Codes are available at \href{https://github.com/zhenyuw16/Uni3DETR}{https://github.com/zhenyuw16/Uni3DETR}.

연구 동기 및 목표

• 포인트 밀도와 객체 분포의 차이로 인해 실내 및 실외 환경 간 일반화가 어려운 통합 3D 검출 프레임워크의 부족을 해결한다.
• 실내용 그룹 기반 및 실외용 BEV 기반 검출기의 한계를 극복하기 위해, 둘 다 호환 가능한 단일 아키텍처를 설계한다.
• 희소한 실외 데이터의 메모리 효율성과 고밀도 실내 장면의 특징 충실도를 균형 있게 유지하는 특징 추출 백본을 개발한다.
• 장면 특화 하이퍼파라미터나 모odal 특화 입력(예: RGB)에 대한 의존도를 최소화하여 다양한 데이터셋 간 강건한 일반화를 가능하게 한다.

제안 방법

• 희소한 실외 장면에서 객체 중심 정보를 유지하고 고밀도 실내 장면에서 높이 압축을 방지하기 위해 하이브리드 3D 희소 및 고밀도 컨볼루션 백본을 사용하여 특징을 추출한다.
• 학습 가능한 쿼리 포인트와 보크셀 특징 간의 교차 attention을 통해 단일 트랜스포머 아키텍처에서 포인트-보크셀 상호작용을 가능하게 하여 강력한 3D 예측을 구현한다.
• 쿼리 포인트의 혼합을 도입: 학습 가능한 쿼리 포인트는 국소적이고 희소한 실외 검출을 위해, 비학습 가능한 쿼리 포인트(샘플링된 포인트 및 보크셀에서 유도)는 전역적이고 고밀도한 실내 맥락을 위해 사용한다.
• 분리된 3D IoU 손실을 제안하여 $x,y$ 및 $z$ 공간의 감독을 분리함으로써 학습 안정성과 정밀도 향상을 도모한다.
• RGB 또는 BEV 특화 인덕티브 바이어스를 피하기 위해 포인트 클라우드에만 의존함으로써 장면 특화 데이터 분포에 대해 불변성을 확보한다.
• 모든 데이터셋에 걸쳐 통일된 보크셀 크기 전략을 설계하여, 데이터관련 하이퍼파라미터 표준화에도 불구하고 강건성을 입증한다.

Figure 1 : The high-level overview comparing the performance of 12 existing 3D detectors and our Uni3DETR on a broad range of 3D object detection datasets: indoor datasets SUN RGB-D (SUN), ScanNet, S3DIS, and outdoor datasets KITTI, nuScenes (nuS). The metrics are AP 25 for indoor datasets, AP 70 on

실험 결과

연구 질문

• RQ1 특성 전용 아키텍처 없이도 고밀도 실내 및 희소한 실외 포인트 클라우드에서 뛰어난 성능을 내는 단일 3D 검출 프레임워크가 가능한가?
• RQ2 검출 트랜스포머가 실내 및 실외 환경 간 포인트 클라우드 특성(밀도, 분포, 스케일)의 다양성을 효과적으로 다룰 수 있는가?
• RQ3 특화된 하이퍼파라미터나 모달 특화 적응 없이도 통합 아키텍처가 다양한 데이터셋에 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 3D IoU 손실을 분리함으로써 이질적인 3D 검출 환경에서 학습 수렴성과 정밀도 향상이 이루어지는가?
• RQ5 학습 가능한 쿼리 포인트와 비학습 가능한 쿼리 포인트의 조합이 다양한 환경에서 국소적 및 전역적 특징 활용을 효과적으로 균형 잡을 수 있는가?

주요 결과

• Uni3DETR는 nuScenes 데이터셋에서 67.0% AP, SUN RGB-D 데이터셋에서 47.3% AP를 기록하여 실내 및 실외 벤치마크에서 모두 전용 검출기보다 뛰어난 성능을 보였다.
• KITTI 데이터셋에서 Uni3DETR는 72.0% NDS를 달성하여 기존 실외 전용 검출기들을 능가했으며, 중간 난이도 자동차 검출에서 뛰어난 성능을 보였다.
• 크로스 데이터셋 평가에서, Uni3DETR는 SUN RGB-D에서 훈련한 후 ScanNet에서 50.9% AP를 기록했으며, Cube R-CNN 대비 16.2% 향상되어 강력한 일반화 능력을 입증했다.
• KITTI와 nuScenes에서 동일한 보크셀 크기(0.05m, 0.05m, 0.1m)를 적용했을 때 Uni3DETR는 우수한 성능을 유지하여 데이터관련 하이퍼파라미터 표준화에 대한 강건성을 입증했다.
• 그림 1에서 모델의 일반화 다각형 면적이 더 크며, 다양한 데이터셋에서 기존 12개 검출기 대비 일관된 성능을 보이며 장면 유형 간 성능 저하가 최소화됨을 나타낸다.
• 분리된 IoU 손실은 최적화를 용이하게 하고, 특히 3D IoU가 기존에 불안정한 경향이 있던 $z$-축에서 정밀도 향상에 기여한다.

Figure 3 : The overall architecture of our Uni3DETR. We use the hybrid combination of 3D sparse convolution and dense convolution for 3D feature extraction, and our detection transformer for set prediction. The mixture of query points contributes to the sufficient usage of global and local informati