[논문 리뷰] HEDNet: A Hierarchical Encoder-Decoder Network for 3D Object Detection in Point Clouds

Gang Zhang, Junnan Chen외 3명|arXiv (Cornell University)|2023. 10. 31.

Advanced Neural Network Applications인용 수 6

한 줄 요약

HEDNet는 희소 3D 포인트 클라우드에서의 3D 객체 검출을 위한 계층적 인코더-디코더 네트워크를 제안하며, 장거리 공간적 의존성을 유지하면서도 특징의 희소성을 보존하는 희소 인코더-디코더(Sed) 블록과 객체 중심으로 특징을 확장하는 밀도형 인코더-디코더(DED) 블록을 사용한다. 이는 기존의 SOTA 트랜스포머 기반 방법보다 50% 빠른 추론 속도로 Waymo Open(75.0% L2 mAPH)과 nuScenes(72.0% NDS)에서 최고 성능을 기록한다.

ABSTRACT

3D object detection in point clouds is important for autonomous driving systems. A primary challenge in 3D object detection stems from the sparse distribution of points within the 3D scene. Existing high-performance methods typically employ 3D sparse convolutional neural networks with small kernels to extract features. To reduce computational costs, these methods resort to submanifold sparse convolutions, which prevent the information exchange among spatially disconnected features. Some recent approaches have attempted to address this problem by introducing large-kernel convolutions or self-attention mechanisms, but they either achieve limited accuracy improvements or incur excessive computational costs. We propose HEDNet, a hierarchical encoder-decoder network for 3D object detection, which leverages encoder-decoder blocks to capture long-range dependencies among features in the spatial space, particularly for large and distant objects. We conducted extensive experiments on the Waymo Open and nuScenes datasets. HEDNet achieved superior detection accuracy on both datasets than previous state-of-the-art methods with competitive efficiency. The code is available at https://github.com/zhanggang001/HEDNet.

연구 동기 및 목표

• 희소 3D 포인트 클라우드에서 장거리 공간적 의존성을 효과적으로 포착하는 데 도전한다. 특히 크고 먼 객체에 대해.
• 공간적으로 분리된 특징 간의 정보 교환을 제한하는 서브맨폴드 희소 컨볼루션의 한계를 극복한다.
• 대규모 커널 CNNs나 트랜스포머와 달리 높은 계산 비용 없이도 글로벌 컨텍스트를 포착할 수 있는 효율적인 백본을 설계한다.
• 희소 3D CNN 백본에 인코더-디코더 아키텍처를 적용하는 것을 탐색한다. 이는 3D 객체 검출 분야에서 새로운 접근 방식이다.
• 다중 척도 특징 융합과 공간적 컨텍스트 모델링을 활용해 크고 먼 객체의 검출 정확도를 향상시킨다.

제안 방법

• 희소 인코더-디코더(Sed) 블록을 제안하며, 인코더에서 특징 다운샘플링과 디코더에서 다중 척도 특징 융합을 통해 장거리 의존성을 포착하면서도 입력-출력의 희소성을 유지한다.
• 희소 특징을 객체 중심으로 확장하여 크고 먼 객체의 정밀도를 향상시키는 밀도형 인코더-디코더(DED) 블록을 도입한다.
• SED 및 DED 블록을 스택하여 계층적 인코더-디코더 네트워크인 HEDNet을 구성함으로써 다중 척도 특징 학습과 컨텍스트 모델링을 가능하게 한다.
• 계층적 특징 추출을 위한 SED 블록을 갖춘 3D 백본과 객체 중심 근처의 특징을 개선하기 위한 DED 블록을 사용하여 검출 정밀도를 향상시킨다.
• 계층적 백본에서 추출한 특징을 기반으로 바운딩 박스와 클래스 스코어를 예측하는 이중 단계 검출 헤드를 활용한다.
• 표준 데이터 증강 및 훈련 프로토콜을 사용하여 Waymo Open 및 nuScenes 데이터셋에 네트워크를 적응시킨다.

실험 결과

연구 질문

• RQ1 희소 3D 컨volution 네트워크에 인코더-디코더 아키텍처를 효과적으로 적용하여 장거리 특징 학습을 향상시킬 수 있는가?
• RQ2 서브맨폴드 희소 잔여 블록을 희소 인코더-디코더 블록으로 대체하면 크고 먼 3D 객체의 검출 정확도가 향상되는가?
• RQ3 제안된 방법이 대규모 커널 CNNs나 트랜스포머 기반 백본보다 낮은 계산 비용으로 최고의 성능을 달성할 수 있는가?
• RQ4 인코더-디코더 아키텍처에서의 다중 척도 특징 융합은 다양한 크기와 거리의 객체에 대해 검출 성능에 어떤 영향을 미치는가?
• RQ5 계층적 설계는 희소 포인트 클라우드를 가진 객체의 정렬 정밀도를 얼마나 향상시키는가?

주요 결과

• HEDNet는 Waymo Open 테스트 세트에서 75.0% L2 mAPH를 달성하여 대규모 커널 CNNs나 트랜스포머를 사용한 이전의 SOTA 방법을 초월했다.
• nuScenes 데이터셋에서 HEDNet는 72.0% NDS를 기록하여 DSVT라는 이전 SOTA 방법보다 1.3% 높은 mAPH를 확보하며 새로운 SOTA 성능을 수립했다.
• DSVT와 같은 트랜스포머 기반 SOTA 방법보다 50% 더 빠른 속도로 더 높은 정확도를 달성하여 효율성-정확도 트레이드오프에서 뛰어난 성능을 보였다.
• 세 척도 SED 블록을 가진 모델이 단일 척도 버전보다 우수한 성능을 보이며, 다중 척도 특징 학습이 검출 성능 향상에 기여함을 입증했다.
• 특히 크고 먼 객체(예: 차량)에서 막대한 성능 향상이 있었으며, 이는 정확한 검출을 위해 맥락 정보가 필수적임을 확인했다.
• 정성적 결과는 HEDNet가 단일 척도 버전인 HEDNet-single보다 더 정밀한 바운딩 박스 예측과 더 나은 방향 추정을 수행함을 확인했다.