[논문 리뷰] SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds

Xinge Zhu, Yuexin Ma외 4명|arXiv (Cornell University)|2020. 04. 06.

3D Shape Modeling and Analysis참고 문헌 32인용 수 10

한 줄 요약

이 논문은 라이다 스캔에서의 대칭 보완, 볼록 껍질 투영, 체비셰프 적합을 통해 점군으로부터 압축적이고 강건한 형태 서명을 학습하는 새로운 3D 객체 검출 프레임워크인 형태 서명 네트워크(Shape Signature Networks, SSN)를 제안한다. 이 방법은 nuScenes 및 Lyft 데이터셋에서 기존 방법 대비 mAP-3D 5% 향상, NDS 10% 향상하여 최신 기술 수준(SOTA) 성능을 달성하며, 다양한 백본에 대해 뛰어난 확장성을 보인다.

ABSTRACT

Multi-class 3D object detection aims to localize and classify objects of multiple categories from point clouds. Due to the nature of point clouds, i.e. unstructured, sparse and noisy, some features benefit-ting multi-class discrimination are underexploited, such as shape information. In this paper, we propose a novel 3D shape signature to explore the shape information from point clouds. By incorporating operations of symmetry, convex hull and chebyshev fitting, the proposed shape sig-nature is not only compact and effective but also robust to the noise, which serves as a soft constraint to improve the feature capability of multi-class discrimination. Based on the proposed shape signature, we develop the shape signature networks (SSN) for 3D object detection, which consist of pyramid feature encoding part, shape-aware grouping heads and explicit shape encoding objective. Experiments show that the proposed method performs remarkably better than existing methods on two large-scale datasets. Furthermore, our shape signature can act as a plug-and-play component and ablation study shows its effectiveness and good scalability

연구 동기 및 목표

• 점군이 희소하고 노이즈가 많을 때 외관 기반 방법이 무늬가 부족하여 실패하는 상황에서 다중 클래스 3D 객체 검출의 과제를 해결하기 위해.
• 3D 객체 검출에서 분류 성능 향상을 위해 미사용된 지속적인 형태 정보를 활용하기 위해.
• 다양한 객체 카테고리 간의 구조적 차이를 잘 포착하는 압축적이고 강건하며 확장 가능한 형태 서명을 설계하기 위해.
• 형태 인식 기반 그룹화 및 보조 감독을 통해 특징 학습을 향상시키는 검출 프레임워크에 형태 서명을 통합하기 위해.
• 제안된 방법의 효과성과 다양한 백본 및 데이터셋 간의 일반화 능력을 검증하기 위해.

제안 방법

• 형태 서명은 먼저 라이다 스캔에서 불완전한 점군을 대칭 연산을 적용하여 보완함으로써 구성된다.
• 점군이 세 개의 수직 방향(조감도, 정면, 측면)으로 투영되어 다중 시점 형태 구조를 포착한다.
• 각 시점의 볼록 껍질을 계산하여 희소성에 대한 강건성을 향상시킨다.
• 각도-반경 전략을 통해 볼록 껍질 경계를 인코딩하며, 각 방향의 중심으로부터의 반경 거리를 맵핑한다.
• 각도-반경 함수에 체비셰프 다항식 근사를 적용하여 차원을 감소시키면서도 핵심 형태 특징을 유지한다.
• 최종적으로 유도된 계수들이 서로 다른 특징을 가진 압축적이고 미분 가능한 형태 서명이 되며, 학습 과정에서 소프트 제약 조건으로 사용된다.

실험 결과

연구 질문

• RQ1 기하 연산을 통해 유도된 형태 서명이 점군에서 다중 클래스 3D 객체 검출 성능을 향상시키는가?
• RQ2 형태 서명이 암묵적 또는 외관 기반 표현에 비해 강건성과 분류 능력 측면에서 어떻게 비교되는가?
• RQ3 형태 인식 기반 그룹화 헤드와 형태 서명 목적 함수를 통합함으로써 다양한 객체 카테고리 간 일반화 능력이 향상되는가?
• RQ4 형태 서명이 다양한 백본 네트워크와 데이터셋 간에서 얼마나 확장 가능한가?
• RQ5 형태 서명이 아키텍처 수정 없이도 플러그 앤 플레이 컴ponent로 활용될 수 있는가?

주요 결과

• nuScenes 데이터셋에서 SSN은 PointPillar 대비 NDS를 10% 향상시켜 44.9에서 49.8로, mAP-3D를 5% 향상시켜 29.4에서 36.6로 개선하였다.
• Lyft 데이터셋에서 SSN은 mAP-3D 16.2%를 기록하며 PointPillar 대비 2.8% 절대 향상되었고, NDS에서도 10% 향상되어 베이스라인을 초월하였다.
• 형태 인식 기반 그룹화 헤드는 하나의 헤드에 비해 NDS에서 11.9% 향상되고, mAP-3D에서 7.1% 향상되어 형태 기반 특징 공유의 이점을 입증하였다.
• 제안된 형태 서명은 PointPillar 및 Second와 같은 다양한 백본과 nuScenes, Lyft, Kitti 데이터셋에서 일관되게 성능 향상을 보이며 강력한 확장성을 입증하였다.
• TSNE 시각화 결과 형태 서명 벡터가 카테고리별로 군집되어 있음을 확인하여, 분류 성능 향상을 위한 소프트 제약 조건으로서의 역할을 검증하였다.
• 절단 분석 결과 상위 3개의 체비셰프 계수만으로도 충분한 형태 정보를 포착하며, 고차항은 기여도가 미미한 것으로 나타났다.