[논문 리뷰] Sense Less, Generate More: Pre-training LiDAR Perception with Masked Autoencoders for Ultra-Efficient 3D Sensing

Sina Tayebati, Theja Tulabandhula외 1명|arXiv (Cornell University)|2024. 06. 12.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

이 논문은 레이저 감지 에너지를 줄이기 위해 원형 각도 영역을 마스킹하고 누락된 부분을 마스킹된 오토인코더를 사용해 복원하는 방식으로, LiDAR 인식을 위한 생성적 사전학습 방법인 Radial Masked Autoencoding (R-MAE)를 제안한다. R-MAE는 90% 마스킹 조건에서 Waymo에서 최대 5.59%의 mAP/mAPH 향상을 달성했으며, KITTI에서 소형 객체 탐지 성능을 4.37% 향상시켜 초효율적인 3D 감지 성능 향상과 정확도 향상을 입증한다.

ABSTRACT

In this work, we propose a disruptively frugal LiDAR perception dataflow that generates rather than senses parts of the environment that are either predictable based on the extensive training of the environment or have limited consequence to the overall prediction accuracy. Therefore, the proposed methodology trades off sensing energy with training data for low-power robotics and autonomous navigation to operate frugally with sensors, extending their lifetime on a single battery charge. Our proposed generative pre-training strategy for this purpose, called as radially masked autoencoding (R-MAE), can also be readily implemented in a typical LiDAR system by selectively activating and controlling the laser power for randomly generated angular regions during on-field operations. Our extensive evaluations show that pre-training with R-MAE enables focusing on the radial segments of the data, thereby capturing spatial relationships and distances between objects more effectively than conventional procedures. Therefore, the proposed methodology not only reduces sensing energy but also improves prediction accuracy. For example, our extensive evaluations on Waymo, nuScenes, and KITTI datasets show that the approach achieves over a 5% average precision improvement in detection tasks across datasets and over a 4% accuracy improvement in transferring domains from Waymo and nuScenes to KITTI. In 3D object detection, it enhances small object detection by up to 4.37% in AP at moderate difficulty levels in the KITTI dataset. Even with 90% radial masking, it surpasses baseline models by up to 5.59% in mAP/mAPH across all object classes in the Waymo dataset. Additionally, our method achieves up to 3.17% and 2.31% improvements in mAP and NDS, respectively, on the nuScenes dataset, demonstrating its effectiveness with both single and fused LiDAR-camera modalities. https://github.com/sinatayebati/Radial_MAE.

연구 동기 및 목표

• 저전력 로봇 및 자율주행 시스템에서 활성 LiDAR 센서의 높은 에너지 소비 문제를 해결하기 위해.
• 측정하지 않고도 예측 가능하거나 영향이 적은 환경 영역을 생성함으로써 감지 에너지를 줄이기 위해.
• 새로운 원형 마스킹 전략을 활용한 생성적 사전학습을 통해 3D 객체 탐지 정확도를 향상시키기 위해.
• 레이저 활성화를 최소화하면서도 성능을 유지하거나 향상시킬 수 있는 초절약형 LiDAR 운영을 가능하게 하기 위해.
• Waymo, nuScenes, KITTI와 같은 다양한 도메인 간에 강건하고 일반화 가능한 표현을 전이할 수 있도록 하기 위해.

제안 방법

• R-MAE는 현장 감지 중에 특정 각도 영역의 레이저 방출을 선택적으로 비활성화하는 범위 인지형 원형 마스킹 전략을 적용한다.
• 모델은 LiDAR 포인트 클라우드의 마스킹되지 않은 복소체에서 특징을 추출하기 위해 3D 공간적으로 희소한 컨볼루션 인코더를 사용한다.
• 마스킹된 영역의 복소체 점유 여부를 이진 분류를 통해 예측함으로써 전체 3D 환경을 복원하는 마스킹 오토인코더를 활용한다.
• 감지 에너지와 모델 성능 간의 상충 관계를 탐색하기 위해 마스킹 비율과 각도 세그먼트 크기를 제어한다.
• 대규모 데이터셋(_waymo_, _nuScenes_, _KITTI_)에서 사전학습하고, 후속 탐지 작업을 위해 미세조정한다.
• 레이저 출력이 R⁴에 비례하므로, 생성적 복원과 조합될 경우 저전력 감지가 더욱 효과적으로 작용한다.

Figure 1 : (a) Radially masked autoencoding (R-MAE) strategy: Angular regions are completely masked out as shown in the black by turning off laser emissions. Even on the sensed regions, points are probabilistically dropped-off proportional to their distance $R$ . Notably, $P_{\text{laser}}\sim R^{4}

실험 결과

연구 질문

• RQ1 원형 마스킹을 통한 생성적 사전학습이 탐지 성능을 저하시키지 않고 LiDAR 감지 에너지를 줄일 수 있는가?
• RQ2 원형 마스킹은 랜덤 패치 마스킹에 비해 3D 환경에서 공간적 관계와 객체 거리를 얼마나 잘 유지하는가?
• RQ3 극도로 높은 마스킹 비율(예: 90%) 조건에서도 R-MAE가 탐지 정확도를 유지하거나 향상시킬 수 있는 정도는 어느 정도인가?
• RQ4 Waymo 또는 nuScenes에서 학습한 표현을 KITTI로 전이할 때 R-MAE가 도메인 일반화 성능을 향상시키는가?
• RQ5 원형 마스킹 전략에서 마스킹 세그먼트의 각도 크기가 R-MAE 성능에 얼마나 민감한가?

주요 결과

• R-MAE는 Waymo, nuScenes, KITTI 데이터셋 전반에서 3D 객체 탐지의 평균 정밀도를 5% 이상 향상시켰다.
• KITTI 데이터셋에서 R-MAE는 중간 난이도 수준에서 소형 객체 탐지 정확도(AP)를 최대 4.37% 향상시켰다.
• 90% 원형 마스킹 조건에서 R-MAE는 Waymo 데이터셋에서 기준 모델 대비 최대 5.59% 향상된 mAP/mAPH 성능을 달성했다.
• nuScenes 데이터셋에서 R-MAE는 단일 및 융합 LiDAR-카메라 모odalities 모두에서 최대 3.17% 향상된 mAP와 2.31% 향상된 NDS 성능을 기록했다.
• 도메인 전이 작업에서 R-MAE는 4% 이상의 정확도 향상을 보였으며, Waymo에서 KITTI로 전이했을 때 보행자 탐지 정확도는 4.09% 향상되었다.
• 92% 마스킹 비율 조건에서도 높은 성능 유지를 유지하여, 효과적인 운영을 위해 LiDAR의 BEV의 8%만 감지하면 된다는 것을 시사한다.

Figure 2 : Accuracy under varying pretraining conditions, (a) at varying masking ratios with a fixed angular range of 1 degree, and (b) at different angular ranges with a fixed masking ratio of 0.8. Results are compared against the state-of-the-art (SOTA) PointPillars [ 39 ] method.