[논문 리뷰] LiDAR-PTQ: Post-Training Quantization for Point Cloud 3D Object Detection

Sifan Zhou, Liang Li외 7명|arXiv (Cornell University)|2024. 01. 29.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

이 논문은 3D LiDAR 기반 객체 검출을 위한 포스트트레이닝 양자화 방법인 LiDAR-PTQ를 제안한다. 이 방법은 INT8 양자화 시 성능 저하 문제를 해결하며, 희소성 기반 校정, 작업 유도 글로벌 양성 손실(TGPL), 적응형 반올림을 통합함으로써 FP32 모델에 근접한 정확도를 달성한다. 이는 3배의 추론 속도 향상과 QAT 대비 30배 빠른 양자화를 제공하며, 3D 검출 분야에서 PTQ의 새로운 SOTA를 설정한다.

ABSTRACT

Due to highly constrained computing power and memory, deploying 3D lidar-based detectors on edge devices equipped in autonomous vehicles and robots poses a crucial challenge. Being a convenient and straightforward model compression approach, Post-Training Quantization (PTQ) has been widely adopted in 2D vision tasks. However, applying it directly to 3D lidar-based tasks inevitably leads to performance degradation. As a remedy, we propose an effective PTQ method called LiDAR-PTQ, which is particularly curated for 3D lidar detection (both SPConv-based and SPConv-free). Our LiDAR-PTQ features three main components, extbf{(1)} a sparsity-based calibration method to determine the initialization of quantization parameters, extbf{(2)} a Task-guided Global Positive Loss (TGPL) to reduce the disparity between the final predictions before and after quantization, extbf{(3)} an adaptive rounding-to-nearest operation to minimize the layerwise reconstruction error. Extensive experiments demonstrate that our LiDAR-PTQ can achieve state-of-the-art quantization performance when applied to CenterPoint (both Pillar-based and Voxel-based). To our knowledge, for the very first time in lidar-based 3D detection tasks, the PTQ INT8 model's accuracy is almost the same as the FP32 model while enjoying $3 imes$ inference speedup. Moreover, our LiDAR-PTQ is cost-effective being $30 imes$ faster than the quantization-aware training method. Code will be released at \url{https://github.com/StiphyJay/LiDAR-PTQ}.

연구 동기 및 목표

• 희소하고 비정규적인 3D LiDAR 포인트 클라우드에 적용할 때 기존 PTQ 방법에서 발생하는 심각한 성능 저하 문제를 해결하기 위해.
• 높은 검출 정확도를 유지하면서도 효율적인 엣지 배포를 가능하게 하는 포스트트레이닝 양자화 프레임워크를 개발하기 위해.
• 3D LiDAR 특징 맵에서 희소성, 큰 활성화 범위, 그리고 배경-전경 불균형 문제에 대처하기 위해.
• 최소한의 정확도 손실로 전체 정밀도 모델과 비교할 수 있는 SOTA 수준의 양자화 성능를 달성하기 위해.

제안 방법

• 3D 포인트 클라우드 특징의 희소성 패턴을 분석하여 양자화 파라미터를 초기화하는 희소성 기반 校정 방법을 도입한다.
• 보정 중에 정밀도 모델과 양자화 모델 출력 간 격리 차이를 최소화하는 손실 함수인 작업 유도 글로벌 양성 손실(TGPL)을 제안한다.
• 각 레이어별로 반올림 값을 최적화하여 레이어 단위 재구성 오차를 감소시키는 적응형 반올림-가장 가까운 값 연산을 적용한다.
• SPConv 기반 및 SPConv 미사용 3D 검출기 모두에 적용하여 아키텍처 간 일반화 능력을 입증한다.
• 재학습 없이도 빠르고 데이터 효율적인 양자화를 가능하게 하기 위해 소규모 비라벨링 校정 데이터셋을 사용한다.
• TGPL을 사용해 양자화 파라미터를 종단 간 최적화하여, 양자화 모델 예측을 원본 모델의 출력 분포와 일치시킨다.

실험 결과

연구 질문

• RQ1 표준 PTQ 방법이 3D LiDAR 기반 객체 검출 모델에 직접 적용되었을 때 실패하는 이유는 무엇인가?
• RQ2 희소한 3D 특징 공간에서 모델 성능을 유지하기 위해 양자화 파라미터를 효과적으로 초기화하는 방법은 무엇인가?
• RQ3 3D 검출에서 정밀도 모델과 양자화 모델 간 예측 간 격리를 최소화하는 데 가장 효과적인 손실 함수는 무엇인가?
• RQ4 적응형 반올림은 3D LiDAR 모델에서 레이어 단위 재구성 오차와 전체 검출 정확도를 향상시킬 수 있는가?
• RQ5 PTQ는 3D LiDAR 검출에서 FP32 모델과 비교해 얼마나 높은 성능을 달성할 수 있는가?

주요 결과

• LiDAR-PTQ는 CenterPoint(기둥 기반 및 벽돌 기반)에서 여러 데이터셋에 걸쳐 INT8 양자화 정확도가 FP32 모델과 거의 동일하다.
• 정확도 저하 없이 3배의 추론 속도 향상을 제공하여 엣지 디바이스에서 실시간 배포를 가능하게 한다.
• QAT 대비 30배 빠른 양자화를 제공하여 산업적 배포에 매우 효율적이다.
• 희소성 기반 校정 방법은 3D LiDAR 특징의 내재된 희소성을 활용하여 양자화 파라미터를 효과적으로 초기화한다.
• TGPL은 정밀도 모델과 양자화 모델 간 예측 격리 차이를 크게 감소시켜, 양자화 후 검출 mAP를 향상시킨다.
• LiDAR-PTQ는 SPConv 기반 및 SPConv 미사용 3D 검출 아키텍처 모두에 대해 잘 일반화되어 있어 광범위한 적용 가능성을 입증한다.