[논문 리뷰] Object DGCNN: 3D Object Detection using Dynamic Graphs

Yue Wang, Justin Solomon|arXiv (Cornell University)|2021. 10. 13.

Advanced Neural Network Applications참고 문헌 66인용 수 50

한 줄 요약

이 논문은 NMS 없는 3D 객체 탐지기인 Object DGCNN를 제시하며, 동적 그래프를 통해 객체를 집합으로 모델링하고 set-to-set 손실 및 증류를 사용하여 자율주행 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

3D object detection often involves complicated training and testing pipelines, which require substantial domain knowledge about individual datasets. Inspired by recent non-maximum suppression-free 2D object detection models, we propose a 3D object detection architecture on point clouds. Our method models 3D object detection as message passing on a dynamic graph, generalizing the DGCNN framework to predict a set of objects. In our construction, we remove the necessity of post-processing via object confidence aggregation or non-maximum suppression. To facilitate object detection from sparse point clouds, we also propose a set-to-set distillation approach customized to 3D detection. This approach aligns the outputs of the teacher model and the student model in a permutation-invariant fashion, significantly simplifying knowledge distillation for the 3D detection task. Our method achieves state-of-the-art performance on autonomous driving benchmarks. We also provide abundant analysis of the detection model and distillation framework.

연구 동기 및 목표

• 3D 물체 탐지에서 NMS 후처리 제거를 통해 효율성을 개선한다는 동기를 제시한다.
• 고정 크기의 객체 쿼리 집합을 출력하는 집합 예측 프레임워크를 개발한다.
• 3D 장면에서 객체 간 관계를 모델링하기 위해 동적 그래프 추론을 활용한다.
• 학습 중에 privileged information를 활용한 set-to-set 목적 및 교사-학생 지식을 활용한 지식 증류를 가능하게 한다.

제안 방법

• 그리드 기반의 BEV 피처 추출기(PointPillars 또는 SparseConv)을 사용하여 밀집 BEV 피처를 생성한다.
• L층을 통해 퍼지며 각 층이 객체 쿼리의 집합을 예측하고 학습된 샘플링과 양선형 보간으로 BEV 피처를 집계하는 Object DGCNN를 도입한다.
• DGCNN 스타일의 희소 그래프를 객체 쿼리 위에서 모델링한다.
• 그래프 예측을 실제 집합과 정렬하기 위해 Hungarian 매칭과 함께 일대일 set-to-set 손실을 적용한다.
• set-to-set 증류를 구현하여 교사가 학생을 가이드하며 순열 불변 출력 정렬을 통해 privileged information 전달을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 객체 탐지를 집합 예측으로 바꿔 NMS 후처리를 제거해도 정확도가 손실되지 않는가?
• RQ2 BEV 피처 위에 DGCNN 스타일의 객체 관계를 통합하면 밀집 자기 주의(self-attention) 기법보다 탐지가 향상되는가?
• RQ3 set-to-set 증류가 privileged information(예: 밀집 포인트 클라우드)를 활용해 성능을 향상시킬 수 있는가?
• RQ4 백본(PointPillars 대 SparseConv) 및 DGCNN 층 수/이웃 수가 탐지 성능에 미치는 영향은 무엇인가?
• RQ5 NMS 없는 탐지기가 자율주행 벤치마크에서 최첨단의 NMS 기반 3D 탐지기와 경쟁력이 있는가?

주요 결과

• 제안된 방법은 자율주행 벤치마크(nuScenes)에서 최첨단 결과를 달성하고 NMS 없이 작동한다.
• 백본(PointPillars 또는 SparseConv)을 사용하는 Object DGCNN가 CenterPoint 변형보다 성능이 우수하며, 체적 기반 설정에서 높은 NDS와 mAP 점수를 달성한다.
• DGCNN 기반의 객체 관계 모델링은 다중 헤드 자기 주의보다 이점을 제공하며 16 이웃이 성능의 황금 비율이다.
• DGCNN 층 수를 늘리면 성능이 향상되어 더 깊은 동적 그래프 추론의 이점을 확인할 수 있다.
• set-to-set 증류( privileged information를 포함한 경우) 가 베이스라인 및 다른 증류 전략보다 일관된 이점을 제공한다.
• 모델은 미리 학습된 백본으로 엔드-투-엔드로 학습 가능하며 추론 시 추가 후처리가 필요 없이 박스를 생성할 수 있다.