[논문 리뷰] Sparse2Dense: Learning to Densify 3D Features for 3D Object Detection

Tianyu Wang, Xiaowei Hu외 2명|arXiv (Cornell University)|2022. 11. 23.

Advanced Neural Network Applications인용 수 8

한 줄 요약

Sparse2Dense는 잠재 공간에서 희소 LiDAR 포인트 클라우드 특징을 조밀하게 만드는 것을 학습하여 3D 객체 검출을 향상시키는 경량이고 효율적인 프레임워크를 제안한다. 사전 훈련된 조밀한 검출기로부터 지식 정복을 활용하여 플러그인형 S2D 모듈과 포인트 클라우드 재구성 모듈을 도입함으로써, 추론 시에 조밀한 입력이 필요 없이도 특징 품질을 향상시킨다. 이로 인해 Waymo 데이터셋에서 약 10ms의 지연 증가만으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

LiDAR-produced point clouds are the major source for most state-of-the-art 3D object detectors. Yet, small, distant, and incomplete objects with sparse or few points are often hard to detect. We present Sparse2Dense, a new framework to efficiently boost 3D detection performance by learning to densify point clouds in latent space. Specifically, we first train a dense point 3D detector (DDet) with a dense point cloud as input and design a sparse point 3D detector (SDet) with a regular point cloud as input. Importantly, we formulate the lightweight plug-in S2D module and the point cloud reconstruction module in SDet to densify 3D features and train SDet to produce 3D features, following the dense 3D features in DDet. So, in inference, SDet can simulate dense 3D features from regular (sparse) point cloud inputs without requiring dense inputs. We evaluate our method on the large-scale Waymo Open Dataset and the Waymo Domain Adaptation Dataset, showing its high performance and efficiency over the state of the arts.

연구 동기 및 목표

• LiDAR 기반 검출에서 희소한 포인트 클라우드로 인해 발생하는 작은, 먼, 불완전한 3D 객체 검출 과제를 해결하기 위해.
• 희소 입력으로부터 조밀한 특징 표현을 학습하여 추론 지연을 증가시키지 않고도 검출 성능을 향상시키기 위해.
• 사전 훈련된 모델에서 얻은 조밀한 특징 지식을 활용하면서도 추론 시에 조밀한 포인트 클라우드 데이터가 필요 없도록 하기 위해.
• 다양한 3D 검출기와 호환되는 일반적이고 플러그-앤플레이 프레임워크를 설계하여 희소 영역에서의 성능을 향상시키기 위해.

제안 방법

• 다중 프레임 융합된 조밀한 포인트 클라우드를 기반으로 고품질의 3D 특징을 생성하는 조밀한 포인트 3D 검출기(DDet)를 훈련한다.
• 일반적인 희소한 포인트 클라우드를 입력으로 받아, 지식 정복을 통해 DDet의 조밀한 특징을 모방하도록 학습하는 희소한 포인트 3D 검출기(SDet)를 설계한다.
• 특징 전파 과정에서 잠재 공간에서 희소한 특징을 조밀하게 만들기 위해 경량의 S2D 모듈을 플러그인형으로 도입한다.
• 특징 학습을 정규화하고 표현 품질을 향상시키기 위해 보조 작업으로 포인트 클라우드 재구성(PCR) 모듈을 제안한다.
• 훈련 중에 SDet의 특징가 DDet의 특징과 일치하도록 특징 정복 손실과 히트맵 정복 손실을 사용한다.
• SDet를 두 단계로 훈련한다: 먼저 정복을 통해, 그 다음 S2D와 PCR 모듈을 함께 훈련하며, 추론 시에는 DDet와 PCR 모듈을 기각한다.

실험 결과

연구 질문

• RQ1 조밀한 검출기로부터의 지식 정복이 희소한 포인트 클라우드에서 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 S2D와 같은 경량 플러그인 모듈이 추론 비용을 증가시키지 않고도 잠재 공간에서 희소한 3D 특징을 효과적으로 조밀하게 만들 수 있는가?
• RQ3 보조적인 포인트 클라우드 재구성 작업이 희소 영역에서 특징 품질과 검출 강건성을 향상시키는가?
• RQ4 제안된 프레임워크는 아키텍처 변경 없이 다양한 최신 3D 검출기에 일반적으로 적용될 수 있는가?

주요 결과

• 전체 Sparse2Dense 프레임워크는 기준 모델보다 기준 모델에 정복을 적용하지 않은 경우에도 차량 카테고리에서 2.5% 이상의 검출 성능 향상을 달성한다.
• S2D 모듈을 추가하면 정복 전용 기준 모델 대비 차량에서는 약 2%, 자전거 운전자에서는 약 1%의 검출 성능 향상이 이루어진다.
• 포인트 클라우드 재구성(PCR) 모듈은 모든 메트릭과 객체 카테고리에서 일관되게 성능 향상을 이룬다.
• S2D 모듈은 약 10ms의 추론 지연만을 추가하며, 더 작은 데이터셋에서 16.9ms의 지연을 유발하는 이전 방법들보다 뚜렷이 뛰어나다.
• 이 프레임워크는 Waymo Open Dataset과 Waymo Domain Adaptation Dataset 양쪽에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 세 가지 다른 3D 검출기에서 검출 성능을 향상시켜 광범위한 호환성과 효과성을 입증한다.