[논문 리뷰] UniDistill: A Universal Cross-Modality Knowledge Distillation Framework for 3D Object Detection in Bird's-Eye View

Shengchao Zhou, Weizhou Liu외 3명|arXiv (Cornell University)|2023. 03. 27.

Advanced Neural Network Applications인용 수 6

한 줄 요약

UniDistill는 조망도(鳥瞰図, BEV)에서 3차원 객체 검출을 위한 통합형 다중모odal 지식 증류 프레임워크를 제안한다. 이는 LiDAR, 카메라 또는 융합된 모달리티에서 유래한 다양한 교사 검출기에서 단일모달리티 학생 검출기로 지식 전달을 가능하게 한다. 특징을 통합된 BEV 공간으로 투영하고, 세 가지 희소 증류 손실(특징, 관계, 응답)을 적용함으로써 추론 오버헤드 없이 학생 성능을 향상시키며, nuScenes에서 mAP 및 NDS 측면에서 각각 2.0%~3.2% 향상된다.

ABSTRACT

In the field of 3D object detection for autonomous driving, the sensor portfolio including multi-modality and single-modality is diverse and complex. Since the multi-modal methods have system complexity while the accuracy of single-modal ones is relatively low, how to make a tradeoff between them is difficult. In this work, we propose a universal cross-modality knowledge distillation framework (UniDistill) to improve the performance of single-modality detectors. Specifically, during training, UniDistill projects the features of both the teacher and the student detector into Bird's-Eye-View (BEV), which is a friendly representation for different modalities. Then, three distillation losses are calculated to sparsely align the foreground features, helping the student learn from the teacher without introducing additional cost during inference. Taking advantage of the similar detection paradigm of different detectors in BEV, UniDistill easily supports LiDAR-to-camera, camera-to-LiDAR, fusion-to-LiDAR and fusion-to-camera distillation paths. Furthermore, the three distillation losses can filter the effect of misaligned background information and balance between objects of different sizes, improving the distillation effectiveness. Extensive experiments on nuScenes demonstrate that UniDistill effectively improves the mAP and NDS of student detectors by 2.0%~3.2%.

연구 동기 및 목표

• 기존의 다중모달 지식 증류 방법이 고정된 교사-학생 모달리티 쌍에 국한되어 있어 적용 범위가 제한된 문제를 해결한다.
• 다중모달 검출기에서의 시스템 복잡성과 단일모달 검출기에서의 성능 한계 사이의 상충 관계를 극복한다.
• LiDAR → 카메라, 카메라 → LiDAR, 융합 → LiDAR, 융합 → 카메라 등 다양한 모달리티 경로 간의 통합 증류를 가능하게 한다.
• 잘못 대응된 배경 특징을 걸러내고 객체 크기의 불균형을 보완함으로써 증류 효과를 향상시킨다.
• 추론 중 추가 계산을 방지함으로써 추론 효율성을 유지하면서도 학생 검출기 성능을 향상시킨다.

제안 방법

• 교사 및 학생 검출기의 특징을 통합된 조망도(Bird’s-Eye-View, BEV) 표현으로 투영하여 다중모달 간 정렬을 가능하게 한다.
• 세 가지 증류 손실을 적용한다: (1) 9개의 주요 지점에서 저수준 특징을 정렬하는 특징 증류, (2) 고수준 특징 관계를 정렬하는 관계 증류, (3) 가우시안 유사 마스크를 사용해 예측 응답을 정렬하는 응답 증류.
• 오직 전경 특징에만 희소 정렬을 적용하여 잘못 대응된 배경 영역의 노이즈를 억제한다.
• 저품질 모달리티(예: 카메라 기반 교사에서 LiDAR 기반 학생으로의 전달)에서 지식 전달 시 성능 저하를 방지하기 위해 저수준 및 고수준 BEV 특징 뒤에 적응형 레이어를 도입한다.
• 다양한 모달리티 조합 간 호환성을 확보하기 위해 다양한 검출기 간 BEV의 공통된 검출 파라다임을 활용한다.
• 분류 히트맵의 각 위치에서 최대값을 취하여 응답 증류를 최적화한다.

실험 결과

연구 질문

• RQ1 아키텍처 제약 없이 다수의 다중모달 증류 경로(LiDAR → 카메라, 융합 → 카메라 등)를 지원하는 통합형 지식 증류 프레임워크를 설계할 수 있는가?
• RQ2 잘못 대응된 배경 특징을 걸러내는 동시에 효과적으로 지식을 전달하기 위해 증류 손실을 어떻게 설계할 수 있는가?
• RQ3 특히 소형 객체에서 크기 불균형을 보완함으로써 증류 성능에 미치는 영향은 무엇인가?
• RQ4 저품질 모달리티(예: 카메라)에서 고품질 모달리티(예: LiDAR)로 전달할 경우 적응형 레이어가 증류 성능에 어떻게 기여하는가?
• RQ5 전체 특징 증류 대비 전경 특징만을 대상으로 하는 희소 증류가 효율성과 정확도 향상에 얼마나 기여하는가?

주요 결과

• UniDistill은 nuScenes 데이터셋에서 모든 테스트 증류 경로에서 학생 검출기의 mAP 및 NDS를 각각 2.0%~3.2% 향상시켰다.
• 융합 → 카메라 경로에서 UniDistill은 기준선 대비 3.2% mAP 향상과 3.2% NDS 향상을 달성했다.
• 가우시안 마스크를 사용한 응답 증류 손실이 가장 높은 성능을 보였으며, 경로 (4)에서 기준선 대비 mAP를 4.3% 향상시켰다.
• 절단 실험을 통해 적응형 레이어의 필수성을 확인했다: 이를 제거할 경우 검출 손실이 증가하고 성능 저하가 발생하며, 특히 카메라 기반 교사에서 LiDAR 기반 학생으로 전달할 경우 두드러진다.
• 주요 지점 기반의 관계 증류가 균일 샘플링보다 우수했으며, 경로 (4)에서 기준선 대비 mAP를 1.9% 향상시켰다.
• 히트맵의 각 위치에서 최대값을 취하는 것이 응답 증류를 향상시켰으며, 경로 (4)에서 기준선 대비 NDS를 3.2 포인트 향상시켰다.