[논문 리뷰] Range Conditioned Dilated Convolutions for Scale Invariant 3D Object Detection

Alex Bewley, Pei Sun외 3명|arXiv (Cornell University)|2020. 05. 20.

Robotics and Sensor-Based Localization인용 수 67

한 줄 요약

LiDAR 거리-이미지 기반 3D 객체 탐지를 위한 Range Conditioned Dilated (RCD) 컨볼루션을 도입하여 스케일 불변 수용 영역 및 향상된 장거리 탐지를 가능하게 하고, 두 단계의 RPN+RCNN 프레임워크와 소프트 범위 게이팅을 제시합니다.

ABSTRACT

This paper presents a novel 3D object detection framework that processes LiDAR data directly on its native representation: range images. Benefiting from the compactness of range images, 2D convolutions can efficiently process dense LiDAR data of a scene. To overcome scale sensitivity in this perspective view, a novel range-conditioned dilation (RCD) layer is proposed to dynamically adjust a continuous dilation rate as a function of the measured range. Furthermore, localized soft range gating combined with a 3D box-refinement stage improves robustness in occluded areas, and produces overall more accurate bounding box predictions. On the public large-scale Waymo Open Dataset, our method sets a new baseline for range-based 3D detection, outperforming multiview and voxel-based methods over all ranges with unparalleled performance at long range detection.

연구 동기 및 목표

• LiDAR 데이터의 거리-이미지 기반 3D 탐지에서 스케일 변화 및 가림(차폐)을 동기부여하고 해결한다.
• 범위 조건이 적용된 확장(convolution) 블록(RCD)을 제안하여 수용 필드를 거리(range)에 따라 동적으로 조정한다.
• 가림 및 근거리 방해 요소를 완화하기 위해 소프트 범위 게이팅을 도입한다.
• 경계 상자 정확도 향상을 위해 RCD 블록을 포함한 2단계 탐지 네트워크(RCD-RPN 및 3D RCNN)에 도입한다.
• Waymo Open Dataset에서 거리이미지 기반 3D 탐지의 새로운 기준선을 제시한다.

제안 방법

• 균일 격자에서 초기화된 학습 가능한 희소 샘플링 패턴 G를 사용하는 RCD 블록을 정의한다.
• range-조건 샘플링 S = sigma(R, lambda) * G + P를 계산하며, sigma(r, lambda) = arctan(lambda / r) 이다.
• 픽셀당 N개의 샘플 위치에서 바이리니어 보간으로 로컬 특징을 모으고 포인트와이즈 합성곱을 통해 출력을 생성한다.
• 가우시안 가중치 N(Ÿfset, r_i, gamma)를 사용하여 근처 이웃 기여를 거리 근접성에 따라 조정하는 소프트 범위 게이팅을 적용한다.
• 범위 이미지 기반 RPN과 2단계 3D RCNN에 RCD 블록을 통합하여 제안(Box) 정제를 수행한다.
• RCD-RPN 손실(f 및 b)과 RCNN 손실(cls 및 reg)을 결합한 조인트 손실로 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 확장 비율을 연속적으로 만들고 측정된 LiDAR 거리(range)에 조건화하여 스케일 불변 특징 추출을 달성하는 방법은?
• RQ2 거리 조건부 샘플링 전략이 거리 이미지에서 고정된 확장이나 ASPP 유사한 방식보다 탐지 성능을 향상시키는가?
• RQ3 RPN+RCNN를 사용하는 2단계 탐지기가 단일 단계 기반 대비 가림 및 장거리 탐지에서 더 나은 성능을 보이는가?
• RQ4 거리 이미지 탐지기에서 근거리 가림 및 방해 요소에 대한 강건성에 소프트 범위 게이팅이 미치는 영향은?
• RQ5 제안된 방법이 Waymo Open Dataset에서 벡셀/BEV 및 다른 거리 기반 방법과 비교하여 특히 장거리에서 어떤 성능을 보이는가?

주요 결과

• RCD와 SRG는 스케일 변이 및 가림 처리를 개선하여 LaserNet 대비 단일 단계 RPN 성능을 크게 향상시킨다.
• 전체적인 2단계 RCD 프레임워크는 Waymo Open Dataset에서 거리이미지 기반 탐지기 중 최첨단 결과를 달성하며 특히 장거리에 강하다.
• RCD는 거리와 연동된 연속 확장 함수를 통해 수용 영역을 동적으로 조정함으로써 커널 가중치를 스케일 간에 재사용할 수 있게 한다.
• 동적 범위 조건 샘플링의 1D에서 2D 확장은 보셀 희소성이 보셀/포인트 기반 방법에 악영향을 주는 장거리 탐지에서 더 나은 성능을 달성한다.
• 배치 실험에서 SRG를 가진 RCD와 다중 스케일 응용이 고정 확장 및 ASPP 유사 방식보다 성능이 우수하며 특히 장거리 및 가림이 큰 상황에서 두드러진다.