[논문 리뷰] Generative Sparse Detection Networks for 3D Single-shot Object Detection

JunYoung Gwak, Christopher Choy외 1명|arXiv (Cornell University)|2020. 06. 22.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 Generative Sparse Detection Networks (GSDN)를 제안하며, 객체 후보 생성을 위한 희소 특징 지원을 효율적으로 확장하기 위해 생성적 희소 텐서 디코더를 사용하는 완전 컨volutional 단일 스포트 3D 객체 검출 프레임워크이다. GSDN은 S3DIS 및 ScanNet과 같은 대규모 3D 실내 데이터셋에서 상태의 최고 성능을 달성하며, 상대 mAP 향상률 7.14%와 3.78배의 속도 향상을 기록했고, 낮은 메모리 사용량과 최대 7800만 개의 포인트를 포함한 장면으로의 확장성도 유지한다.

ABSTRACT

3D object detection has been widely studied due to its potential applicability to many promising areas such as robotics and augmented reality. Yet, the sparse nature of the 3D data poses unique challenges to this task. Most notably, the observable surface of the 3D point clouds is disjoint from the center of the instance to ground the bounding box prediction on. To this end, we propose Generative Sparse Detection Network (GSDN), a fully-convolutional single-shot sparse detection network that efficiently generates the support for object proposals. The key component of our model is a generative sparse tensor decoder, which uses a series of transposed convolutions and pruning layers to expand the support of sparse tensors while discarding unlikely object centers to maintain minimal runtime and memory footprint. GSDN can process unprecedentedly large-scale inputs with a single fully-convolutional feed-forward pass, thus does not require the heuristic post-processing stage that stitches results from sliding windows as other previous methods have. We validate our approach on three 3D indoor datasets including the large-scale 3D indoor reconstruction dataset where our method outperforms the state-of-the-art methods by a relative improvement of 7.14% while being 3.78 times faster than the best prior work.

연구 동기 및 목표

• 희소 3D 객체 검출에서 3D 포인트 클라우드 표면과 객체 중심 위치 사이의 분리된 지원 문제를 해결하기 위해.
• 큰 규모의 3D 검출에서 슬라이딩 윈도우 자르기와 후처리 스티칭이 필요 없도록, 단일 피드포워드 패스 내에서 전체 장면 추론을 가능하게 하기 위해.
• 매우 큰 3D 장면으로의 확장성을 유지하면서도 메모리와 계산 자원을 효율적으로 사용하는 방법을 개발하기 위해.
• 희소 특징에서 직접 객체 중심을 생성함으로써 얇거나 작은 구조물에서의 검출 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 희소 컨volution을 사용하여 3D 포인트 클라우드로부터 깊이 있는 다중 척도 특징을 추출하는 계층적 희소 텐서 인코더를 활용한다.
• 생성적 희소 텐서 디코더는 역전치 컨볼루션과 정규화 레이어를 사용하여 희소 특징의 지원을 확장하여 잠재적인 객체 중심 위치를 커버한다.
• 디코더는 반복적으로 후보 객체 중심을 생성하면서 낮은 가능성 영역을 제거함으로써 최소한의 메모리 및 런타임 오버헤드를 유지한다.
• 네트워크는 완전 컨volutional이며, 창문 자르기나 스티칭 없이 전체 대규모 장면에서 엔드 투 엔드 추론을 가능하게 한다.
• 기존 방법과 달리, 이 모델은 장면 간에 일정한 입력 포인트 클라우드 밀도를 유지하여 일관된 특징 품질을 보장한다.
• 확장된 희소 텐서에서 직접 객체 후보를 예측함으로써, 후처리 없이 단일 스포트 검출을 구현한다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우 자르기 또는 후처리 스티칭 없이, 대규모 희소 3D 장면에서 높은 정확도와 효율성을 달성할 수 있는 완전 컨볼루션 3D 객체 검출기가 가능한가?
• RQ2 입력 포인트 클라우드가 객체 중심을 포함하지 않고 표면만을 커버할 경우, 희소 텐서 네트워크가 효과적으로 객체 중심 후보를 생성할 수 있는가?
• RQ3 단일 층 스캔으로 훈련된 모델이 아키텍처 수정 없이 다층, 대규모 건물로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 희소 표현을 사용해 매우 큰 3D 장면을 처리할 때, 검출 정확도, 추론 속도, 메모리 사용량 간의 상호 상충 관계는 어떠한가?
• RQ5 생성적 희소 디코딩이 전통적인 앵커 생성 방식보다 3D 객체 검출 벤치마크에서 정확도와 효율성 측면에서 뛰어나게 성능을 높일 수 있는가?

주요 결과

• GSDN은 이전 최고 성능 방법 대비 대규모 S3DIS 데이터셋에서 mAP@0.5에서 상대적 7.14% 향상률을 달성했다.
• GSDN은 최고의 이전 작업보다 3.78배 더 빠르며, ScanNet v2에서 장면당 추론 시간이 0.12초였다.
• GSDN은 기존 방법이 포인트를 서브샘플링하는 것과 달리, 장면 간 일정한 포인트 클라우드 밀도를 유지하여 대규모에서 일관된 특징 품질을 보장한다.
• 네트워크는 단일 피드포워드 패스로 S3DIS 빌딩 5(7800만 개 포인트, 13,984m³, 53개 실)를 처리하며, GPU 메모리는 오직 5GB였다.
• GSDN은 피팅 튜닝이나 후처리 없이도 3층의 Gibson 환경 장면 Uvalda(140만 개 포인트, 173m²)와 같은 다층 건물로 일반화된다.
• 메모리 사용량은 낮고 장면 크기와 하위선형으로 증가하며, 런타임은 포인트 수에 따라 선형적으로 증가하여 강력한 확장성을 입증한다.