[논문 리뷰] Range-Aware Attention Network for LiDAR-based 3D Object Detection with Auxiliary Point Density Level Estimation

Yantao Lu, Xuetao Hao외 4명|arXiv (Cornell University)|2021. 11. 18.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 거리에 민감한 주의 메커니즘을 통합한 경량형 실시간 3D 객체 검출 프레임워크인 Range-Aware Attention Network(RAANet)을 제안한다. 이는 BEV(Bird's Eye View) 특징 추출을 향상시키기 위해 거리에 민감한 주의 컨볼루션(RAAConv)을 도입하여 흩어진 영역과 조밀한 영역을 적응적으로 처리한다. 또한 보조 밀도 수준 추정 모듈을 통해 가림된 객체의 검출을 향상시켜, nuScenes와 KITTI에서 최신 기준(SOTA) 성능을 달성하며, 추론 속도는 16 Hz를 확보한다.

ABSTRACT

3D object detection from LiDAR data for autonomous driving has been making remarkable strides in recent years. Among the state-of-the-art methodologies, encoding point clouds into a bird's eye view (BEV) has been demonstrated to be both effective and efficient. Different from perspective views, BEV preserves rich spatial and distance information between objects. Yet, while farther objects of the same type do not appear smaller in the BEV, they contain sparser point cloud features. This fact weakens BEV feature extraction using shared-weight convolutional neural networks (CNNs). In order to address this challenge, we propose Range-Aware Attention Network (RAANet), which extracts effective BEV features and generates superior 3D object detection outputs. The range-aware attention (RAA) convolutions significantly improve feature extraction for near as well as far objects. Moreover, we propose a novel auxiliary loss for point density estimation to further enhance the detection accuracy of RAANet for occluded objects. It is worth to note that our proposed RAA convolution is lightweight and compatible to be integrated into any CNN architecture used for detection from a BEV. Extensive experiments on the nuScenes and KITTI datasets demonstrate that our proposed approach outperforms the state-of-the-art methods for LiDAR-based 3D object detection, with real-time inference speed of 16 Hz for the full version and 22 Hz for the lite version tested on nuScenes lidar frames. The code is publicly available at our Github repository https://github.com/erbloo/RAAN.

연구 동기 및 목표

• 자기 차량에서의 거리에 따라 변화하는 포인트 밀도로 인해 BEV LiDAR 포인트 클라우드에서 특징 표현이 일관되지 못하는 문제를 해결하기 위해.
• 희박한 포인트 클라우드와 모호한 특징으로 인해 영향을 받는 먼 거리의 객체 및 가림된 객체의 검출 정확도를 향상시키기 위해.
• 기존 BEV 기반 CNN 아키텍처와 호환되는 가벼운 실시간 검출 프레임워크를 설계하기 위해.
• 추론 비용을 증가시키지 않고도 학습 중에 가림을 고려할 수 있도록 보조 밀도 수준 추정 모듈을 사용하기 위해.

제안 방법

• RAAConv를 제안한다. 이는 공유 가중치 컨볼루션을 갖춘 이중 분지 컨볼루션 레이어로, BEV 특징 맵 내의 조밀한 영역과 흩어진 영역에서 별도로 특징을 추출한다.
• 거리 및 위치 인코딩을 도입하여 공간적 맥락에 따라 조절되는 위치 민감한 주의 맵을 생성한다.
• 학습 중 데이터 분포 변화에 대응하기 위해 주의 맵을 적응적으로 스케일링할 수 있도록 학습 가능한 스칼라 γ를 적용한다.
• 보조 밀도 수준 추정 모듈(ADLE)을 도입하여 객체별 포인트 밀도 수준을 예측하고, 가림을 더 잘 다룰 수 있도록 네트워크를 안내한다.
• 학습 중 검출과 밀도 추정을 균형 있게 조정하기 위해 학습 가능한 가중치 λ_aux = 0.2를 사용하는 다중 작업 손실을 적용한다.
• 추론 시 ADLE 모듈을 제거하여 실시간 성능을 유지하며, nuScenes에서 16 Hz의 속도를 확보한다.

실험 결과

연구 질문

• RQ1 BEV 기반 3D 객체 검출기에서 계산 비용을 증가시키지 않고도 먼 거리의 LiDAR 포인트가 가진 본질적 희박성 문제를 어떻게 해결할 수 있는가?
• RQ2 가벼운 구성 요소만을 사용하여 주의 메커니즘을 설계해 BEV 특징 내의 흩어진 영역과 조밀한 영역을 적응적으로 처리할 수 있는가?
• RQ3 보조 밀도 수준 추정이 가림되거나 먼 거리에 있는 객체의 검출 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 RAAConv 레이어가 기존 BEV 기반 검출기와 통합될 수 있는가? 이로 인해 추론 속도가 저하되는가?
• RQ5 거리에 민감한 주의와 밀도 수준 안내의 조합이 다양한 객체 크기와 거리에서 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• RAANet는 nuScenes 데이터셋에서 최신 기준(SOTA) 성능을 달성하여, 기존 SOTA 방법보다 3D mAP 및 mAPH 지표에서 뛰어난 성능을 보였다.
• 이중 분지 구조와 주의 맵을 갖춘 RAAConv 레이어로 인해 기준 모델 대비 소형 객체 검출 성능이 0.9% mAP 향상되었다.
• λ_aux = 0.2로 설정된 보조 밀도 수준 추정 모듈은 특히 가림된 객체 검출에서 측정 가능한 성능 향상을 제공하였다.
• 전체 RAANet 모델은 nuScenes에서 16 Hz로 실행되며, 라이트 버전은 22 Hz를 달성하여 실시간 추론 능력을 입증하였다.
• 정성적 결과 분석에서 RAANet는 기준 모델 대비 희박하고 가려진 영역에서 진짜 양성(true positives)을 증가시키고 가짜 음성(false positives)을 억제하는 것으로 나타났다.
• 제거 실험 결과, RAAConv의 각 구성 요소—이중 분지, 주의 맵, 학습 가능한 γ—가 성능 향상에 독립적으로 기여하는 것으로 확인되었다.