[논문 리뷰] Graph-DETR3D: Rethinking Overlapping Regions for Multi-View 3D Object Detection

Zehui Chen, Zhenyu Li외 4명|arXiv (Cornell University)|2022. 04. 25.

Advanced Neural Network Applications인용 수 5

한 줄 요약

Graph-DETR3D는 겹치는 영역 및 경계 영역에서의 특징 학습을 향상시켜 다중 시야 3D 객체 검출 성능을 향상시키기 위해 동적 그래프 기반 특징 집합 모듈을 제안한다. 특히 잘린 인스턴스에 대해 효과적이다. 그래프 구조 학습과 깊이 불변 다중 스케일 훈련 전략을 활용하여 nuScenes 테스트 랭킹에서 49.5 NDS를 달성하며 최신 기술 수준을 확립한다.

ABSTRACT

3D object detection from multiple image views is a fundamental and challenging task for visual scene understanding. Due to its low cost and high efficiency, multi-view 3D object detection has demonstrated promising application prospects. However, accurately detecting objects through perspective views in the 3D space is extremely difficult due to the lack of depth information. Recently, DETR3D introduces a novel 3D-2D query paradigm in aggregating multi-view images for 3D object detection and achieves state-of-the-art performance. In this paper, with intensive pilot experiments, we quantify the objects located at different regions and find that the "truncated instances" (i.e., at the border regions of each image) are the main bottleneck hindering the performance of DETR3D. Although it merges multiple features from two adjacent views in the overlapping regions, DETR3D still suffers from insufficient feature aggregation, thus missing the chance to fully boost the detection performance. In an effort to tackle the problem, we propose Graph-DETR3D to automatically aggregate multi-view imagery information through graph structure learning (GSL). It constructs a dynamic 3D graph between each object query and 2D feature maps to enhance the object representations, especially at the border regions. Besides, Graph-DETR3D benefits from a novel depth-invariant multi-scale training strategy, which maintains the visual depth consistency by simultaneously scaling the image size and the object depth. Extensive experiments on the nuScenes dataset demonstrate the effectiveness and efficiency of our Graph-DETR3D. Notably, our best model achieves 49.5 NDS on the nuScenes test leaderboard, achieving new state-of-the-art in comparison with various published image-view 3D object detectors.

연구 동기 및 목표

• 다중 시야 3D 객체 검출에서 주로 이미지 경계에서 잘린 인스턴스에 기인하는 성능 저하 요인을 특정하고 이를 해결한다.
• 단일 점 샘플링 대신 동적 3D 그래프 구조를 활용해 다중 시야 특징 집합을 향상시킨다.
• 데이터 증강 과정에서 시각적 깊이 일관성을 유지하기 위해 깊이 불변 다중 스케일 훈련 전략을 개발한다.
• 다중 시야 감독이 제대로 활용되지 않는 겹치는 영역에서의 검출 정확도를 향상시킨다.
• 학습 가능한 유연한 특징 집합 메커니즘을 활용해 nuScenes 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 객체 쿼리와 2D 특징 맵 간에 3D 그래프를 구성하여 그래프 메시지 전달을 통해 다중 시야 특징 융합을 가능하게 하는 동적 그래프 특징 집합(DGFA) 모듈을 제안한다.
• 각 객체 쿼리의 기준점으로부터 3D 공간 내에서 k개의 가장 가까운 이웃을 동적으로 결정하여 공간 그래프를 형성하고, 적응형 특징 샘플링을 수행한다.
• 그래프 노드를 카메라 시야로 투영하여 2D 특징을 샘플링하고, 학습 가능한 유사도 행렬을 사용해 이를 융합하여 객체 쿼리 표현을 정밀화한다.
• 이미지 크기와 객체 깊이를 동시에 스케일링하여 깊이 감독 일관성을 유지하는 깊이 불변 다중 스케일 훈련 전략을 도입한다.
• 다중 스케일 데이터 증강이 검출 헤드 정렬에 미치는 영향을 분리하기 위해 탈중력화된 훈련 변종을 활용한다.
• DETR3D 프레임워크를 베이스라인으로 삼고, 그래프 기반의 적응형 특징 집합 기법을 3D-2D 쿼리 파라다임에 통합한다.

실험 결과

연구 질문

• RQ1 왜 이미지 경계에서 잘린 인스턴스가 다중 시야 3D 검출에서 주요 위치 오차 원인이 되는가?
• RQ2 단일 점 샘플링 대비 동적 그래프 구조 학습이 겹치는 영역 및 경계 영역에서 특징 집합 성능을 향상시킬 수 있는가?
• RQ3 다중 스케일 훈련이 시각 기반 3D 검출기의 깊이 감독 및 검출 헤드 성능에 어떤 영향을 미치는가?
• RQ4 깊이 불변 다중 스케일 훈련 전략은 기존의 다중 스케일 데이터 증강으로 인한 성능 저하를 완화할 수 있는가?
• RQ5 그래프 기반 특징 집합은 nuScenes와 같은 도전적인 벤치마크에서 검출 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• Graph-DETR3D는 nuScenes 테스트 랭킹에서 49.5 NDS를 달성하여 이미지 기반 3D 객체 검출 분야에서 새로운 최신 기술 수준을 수립한다.
• DGFA 모듈은 단일 점 기반 베이스라인의 mAP 29.1을 31.9로 향상시켜 겹치는 영역에서 뛰어난 특징 집합 성능을 입증한다.
• 일반적인 다중 스케일 훈련은 모호한 깊이 감독으로 인해 mAP가 2.7 포인트 감소함을 보여주며, 깊이 불변 전략의 필요성을 강조한다.
• 깊이 불변 다중 스케일 훈련 전략이 가장 높은 성능 향상을 보였으며, 탈중력화 훈련 대비 0.2 mAP 향상, 일반 훈련 대비 0.9 mAP 향상 효과를 기록했다.
• mAOE가 0.527에서 0.460으로 감소하여 특히 잘린 인스턴스에서 더 뛰어난 위치 정확도를 확보함을 보여준다.
• 광범위한 추론 분석을 통해 동적 그래프 학습이 다중 시야 가시성이 제한된 영역에서 표현 학습을 효과적으로 향상시킨다는 점을 확인했다.