[논문 리뷰] Multi-Frame to Single-Frame: Knowledge Distillation for 3D Object Detection

Yue Wang, Alireza Fathi외 3명|arXiv (Cornell University)|2020. 09. 24.

3D Shape Modeling and Analysis참고 문헌 14인용 수 9

한 줄 요약

이 논문은 지도 학습을 통해 다중 프레임 밀도 있는 포인트 클라우드에서 학습된 3D 객체 검출기에서 단일 프레임 검출기로 지식을 전달하는 이중 단계 지식 정련 프레임워크를 제안한다. 이는 추론 오버헤드 없이 희박한 테스트 입력에서도 성능을 햖थ고하며, Waymo Open Dataset에서 최신 기준 성능을 달성하여 보행자에 대해 최대 +5.39% mAP, 차량에 대해 0–30m 범위에서 +3.72% mAP 향상률을 기록한다.

ABSTRACT

A common dilemma in 3D object detection for autonomous driving is that high-quality, dense point clouds are only available during training, but not testing. We use knowledge distillation to bridge the gap between a model trained on high-quality inputs at training time and another tested on low-quality inputs at inference time. In particular, we design a two-stage training pipeline for point cloud object detection. First, we train an object detection model on dense point clouds, which are generated from multiple frames using extra information only available at training time. Then, we train the model's identical counterpart on sparse single-frame point clouds with consistency regularization on features from both models. We show that this procedure improves performance on low-quality data during testing, without additional overhead.

연구 동기 및 목표

• 자율주행을 위한 3D 객체 검출에서 밀도 있는 다중 프레임 포인트 클라우드에서 학습하고 희박한 단일 프레임 입력에서 테스트하는 동안 발생하는 성능 격차를 해소하기 위해.
• 학습 시에만 이용 가능한 고급 정보(예: 지도된 객체 추적)를 활용하여 단일 프레임 검출기 성능을 향상시키기 위해.
• 추론 비용을 추가하지 않고 다중 프레임 모델에서 단일 프레임 모델로 지식을 전달하는 정련 기반 방법을 개발하기 위해.
• 불가능한 다중 프레임 모델과 실용적인 단일 프레임 추론 간의 성능 격차를 메우면서도 효율성을 유지하기 위해.

제안 방법

• 이중 단계 학습 파이프라인을 사용한다: 첫 번째 단계에서는 지도된 바운딩 박스 추적를 통해 다중 프레임를 융합하여 생성된 밀도 있는 포인트 클라우드에서 검출기를 학습시킨다.
• 두 번째 단계에서는 단일 프레임의 희박한 포인트 클라우드에서 정련 모델을 학습시키며, 첫 번째 단계의 모델에서 유도된 특징을 사용하여 일관성 정규화를 적용한다.
• 학생(단일 프레임) 모델과 선생(다중 프레임) 모델 간의 중간 표현을 일치시키기 위해 특징 수준의 일관성 손실을 적용한다.
• 학생 모델은 검출 손실과 특징 일관성 손실의 가중 조합으로 학습되며, 차량에 대해서는 하이퍼파ram터 λ = 0.1, 보행자에 대해서는 λ = 0.01를 사용한다.
• 최종 모델는 추론 시에 단일 프레임 입력만을 사용하여 배포되며, 추가적인 추론 오버헤드가 없다.
• 이 방법은 PointNet 기반 백본을 사용하고, 벌거장 등 시각(BEV) 특징 추출 및 분류와 회귀를 위한 2D 컨볼루션 헤드를 적용한다.

실험 결과

연구 질문

• RQ1 지식 정련이 다중 프레임 밀도 있는 포인트 클라우드에서 유도된 성능 향상을 단일 프레임 검출기로 효과적으로 전달할 수 있는가?
• RQ2 학습 시에만 이용 가능한 고급 추적 정보를 사용할 경우, 희박한 테스트 입력으로의 일반화 성능가 향상되는가?
• RQ3 추론 시 다중 프레임 데이터에 접근할 수 없는 단일 프레임 검출기가 다중 프레임 검출기의 성능을 어느 정도까지 따라올 수 있는가?
• RQ4 선생-학생 모델 간의 특징 일관성 정규화가 희박한 입력에서의 검출 정확도 향상에 기여하는가?

주요 결과

• 정련된 단일 프레임 모델은 차량에 대해 84.79% BEV mAP (IoU=0.7)를 달성하여 기준 단일 프레임 모델보다 +1.63% 향상되었다.
• 보행자에 대해서는 정련된 모델이 76.30% BEV mAP (IoU=0.5)를 기록하여 기준 모델보다 +1.82% 향상되었다.
• 0–30m 거리 범위에서 정련된 모델은 차량에 대해 +3.72% mAP (BEV) 향상되었고, 보행자에 대해서는 +3.41% 향상되었다.
• 0–30m 범위에서 보행자에 대해 +5.39% mAP 향상으로 근거리 검출 성능이 뚜렷하게 향상되었으며, 이는 강력한 성능을 보여준다.
• 모델는 24 FPS의 실시간 추론 속도를 유지하며 PointPillars와 동일한 성능을 기록했고, 추론 시 추가 오버헤드가 없다.
• 정련된 모델의 성능는 다섯 프레임의 밀도 있는 포인트 클라우드에서 학습된 오라클 모델(차량에 대해 86.31% BEV mAP)에 비해 상당히 가까워졌으며, 효과적인 지식 전달을 의미한다.