[논문 리뷰] Towards Efficient 3D Object Detection with Knowledge Distillation

Jihan Yang, Shaoshuai Shi외 3명|arXiv (Cornell University)|2022. 05. 30.

Advanced Neural Network Applications인용 수 28

한 줄 요약

이 논문은 지식 증류(KD)를 활용하여 효율적인 3D LiDAR 검출기를 만들고, pillar- 및 voxel 기반 검출기에 대해 여섯 개의 teacher–student 쌍에서 2D KD 방법을 벤치마크하며, 결정적 위치 로그it KD와 교사 가이드 초기화를 통해 강한 정확도와 현저히 감소된 FLOPs를 달성하는 개선된 KD 파이프라인을 제안한다.

ABSTRACT

Despite substantial progress in 3D object detection, advanced 3D detectors often suffer from heavy computation overheads. To this end, we explore the potential of knowledge distillation (KD) for developing efficient 3D object detectors, focusing on popular pillar- and voxel-based detectors.In the absence of well-developed teacher-student pairs, we first study how to obtain student models with good trade offs between accuracy and efficiency from the perspectives of model compression and input resolution reduction. Then, we build a benchmark to assess existing KD methods developed in the 2D domain for 3D object detection upon six well-constructed teacher-student pairs. Further, we propose an improved KD pipeline incorporating an enhanced logit KD method that performs KD on only a few pivotal positions determined by teacher classification response, and a teacher-guided student model initialization to facilitate transferring teacher model's feature extraction ability to students through weight inheritance. Finally, we conduct extensive experiments on the Waymo dataset. Our best performing model achieves $65.75\%$ LEVEL 2 mAPH, surpassing its teacher model and requiring only $44\%$ of teacher flops. Our most efficient model runs 51 FPS on an NVIDIA A100, which is $2.2 imes$ faster than PointPillar with even higher accuracy. Code is available at \url{https://github.com/CVMI-Lab/SparseKD}.

연구 동기 및 목표

• 고성능 교사에서 효율적이면서도 정확한 3D 검출기를 모델 압축과 입력 해상도 축소를 통해 얻는 방법을 파악한다.
• pillar- 및 voxel 기반 3D 검출기에 대해 여섯 개의 teacher–student 쌍에서 기존의 2D KD 방법을 벤치마크한다.
• 3D 물체 탐지에서 증류 효과를 높이기 위한 개선된 KD 전략을 제안한다.
• Waymo와 KITTI에서 현저하게 감소된 계산량으로 증류된 경량 검출기가 교사 성능을 능가하거나 근접할 수 있음을 보여준다.”],
• method':['모델 압축(너비, 깊이) 및 입력 해상도 축소를 연구하여 고정된 교사로부터 효율적인 학생 검출기를 구축한다.
• pillar- 및 voxel 기반 검출기에 대해 여섯 개의 teacher–student 쌍에서 일곱 가지 2D KD 방법(logit KD, feature KD, label KD 및 그 변형들)을 평가한다.
• 증류를 고정밀도 또는 최상위 위치의 교사 위치에 제한하기 위해 pivotal position logit KD를 제안한다.
• 가중치 재매핑 및 매개변수 투영을 통해 교사 특징 추출 능력을 전이시키는 Teacher Guided Initialization(TGI)을 도입한다.
• pivotal position logit KD, label KD 및 TGI를 결합한 개선된 KD 파이프라인을 개발하고 Waymo 및 KITTI에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 3D LiDAR 탐지에서 강력한 교사를 가진 상태에서 어떻게 효율적이면서도 높은 정확도의 학생 검출기를 구성할 수 있는가?
• RQ2 pillar- 및 voxel 기반 3D 검출기에서 교사에서 학생으로의 지식 증류 전략은 무엇이 가장 잘 전달되는가?
• RQ3 타깃팅된(pivotal-position) 로짓 매칭 및 교사 가이드 초기화가 3D 탐지의 KD 전이 개선에 기여할 수 있는가?
• RQ4 압축 및 KD 방법이 데이터셋(Waymo, KITTI) 및 검출기 유형(pillar, voxel)에 대해 얼마나 일반화되는가?

주요 결과

• 너비 수준의 압축이 3D 검출기에 대해 깊이 압축보다 일반적으로 CPR(정확도-효율성 트레이드오프)에서 더 나은 성능을 보인다.
• 입력 해상도 축소가 pillar 기반 검출기에 이익이 되고, BEV 특징의 중복성 차이로 인해 voxel 기반 검출기는 너비 기반 압축의 이익을 본다.
• 특징 KD 방법은 종종 가장 강력한 개별 이득을 제공하지만 3D 탐지에서 다른 KD 스트림과 간섭할 수 있다.
• Pivotal position logit KD는 인스턴스 근처의 중요 영역이나 오류 가능 영역에 모방을 집중시켜 증류를 개선한다.
• Teacher Guided Initialization(TGI)은 교사 특징 추출 능력을 학생으로 전이시키는 데 도움을 주며 KD 손실과 강력한 시너지를 보인다.
• 개선된 KD 파이프라인은 상당한 효율성을 달성하면서도 경쟁력 있는 정확도를 보여준다: CP-Voxel-S는 교사와 비교해 mAPH가 비슷하고 약 2.4배 더 빠르며, CP-Pillar-v0.64는 Waymo에서 ~25%의 교사 FLOPs로 약 3.3%의 mAPH 감소만으로 작동한다.
• 증류된 검출기는 상당한 계산 절감에도 불구하고 교사 성능을 능가하거나 일치할 수 있다(Waymo 및 KITTI 실험).
• 다중 단계 간 증류는 더 무거운 PV-RCNN++ 검출기로부터의 힌트 전이로 경량 CP-Voxel에 약간의 성능 향상을 더해 추가 추론 비용 없이도 이점을 제공한다.
• 이 방법들은 다른 검출기 및 작업(예: 3D 의미론적 분할)으로 일반화되어 광범위한 적용 가능성을 보여준다.