[논문 리뷰] Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation

Gang Li, Xiang Li외 4명|arXiv (Cornell University)|2021. 12. 09.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 객체 검출에서 지식 정복을 위해 랭킹 모방(Rank Mimicking, RM)과 예측 유도 특징 모방(Prediction-guided Feature Imitation, PFI)을 제안하며, 교사 모델과 학생 모델 간의 핵심 행동 격차를 해결한다. RM은 교사 모델의 박스 랭킹 지식을 학생 모델로 전달하는 반면, PFI는 예측 차이를 활용해 효율적인 특징 모방을 유도하며, RetinaNet-ResNet50 기반으로 MS COCO에서 40.4% mAP를 달성하여 이전 방법보다 최대 0.7% AP 향상.

ABSTRACT

Knowledge Distillation (KD) is a widely-used technology to inherit information from cumbersome teacher models to compact student models, consequently realizing model compression and acceleration. Compared with image classification, object detection is a more complex task, and designing specific KD methods for object detection is non-trivial. In this work, we elaborately study the behaviour difference between the teacher and student detection models, and obtain two intriguing observations: First, the teacher and student rank their detected candidate boxes quite differently, which results in their precision discrepancy. Second, there is a considerable gap between the feature response differences and prediction differences between teacher and student, indicating that equally imitating all the feature maps of the teacher is the sub-optimal choice for improving the student's accuracy. Based on the two observations, we propose Rank Mimicking (RM) and Prediction-guided Feature Imitation (PFI) for distilling one-stage detectors, respectively. RM takes the rank of candidate boxes from teachers as a new form of knowledge to distill, which consistently outperforms the traditional soft label distillation. PFI attempts to correlate feature differences with prediction differences, making feature imitation directly help to improve the student's accuracy. On MS COCO and PASCAL VOC benchmarks, extensive experiments are conducted on various detectors with different backbones to validate the effectiveness of our method. Specifically, RetinaNet with ResNet50 achieves 40.4% mAP in MS COCO, which is 3.5% higher than its baseline, and also outperforms previous KD methods.

연구 동기 및 목표

• 교사 모델과 학생 모델 간의 행동적 차이가 성능 격차를 유발하는 이유를 탐구하는 것.
• 전통적인 지식 정복의 성능 저하 문제를 검출 랭킹 및 특징-예측 일치 부족과 같은 핵심 불일치 요인을 규명함으로써 해결하는 것.
• 랭킹 기반 지식 전달을 새로운 정복 대상으로 삼는 랭킹 모방(RM)을 제안하는 것.
• 예측 차이를 동적 가중치로 활용해 예측 정확도와 특징 모방을 일치시키는 예측 유도 특징 모방(PFI)을 설계하는 것.
• 최소한의 아키텍처 변경으로 MS COCO 및 PASCAL VOC 벤치마크에서 최신 기준 성능을 달성하는 것.

제안 방법

• 랭킹 모방(RM)은 교사 모델의 후보 박스 랭킹 분포(분류 점수 또는 예측 박스 품질 기반)를 학생 모델로 전달하며, 기존의 소프트 레이블 정복을 대체한다.
• PFI는 위치 기반 손실 가중치 메커니즘을 도입하여, 교사와 학생의 예측 차이(P_dif)를 활용해 어느 특징 맵이 모방에 가장 중요한지 유도한다.
• 특징 차이(F_dif)와 예측 차이(P_dif)를 계산한 후, P_dif를 적응형 가중치로 사용해 예측 차이가 가장 큰 영역에서 특징 모방을 우선시한다.
• 표준 정복 학습 프로토콜을 사용해 다양한 백본을 갖춘 단일 단계 검출기(예: RetinaNet)에 프레임워크를 적용한다.
• 수작업 마스크나 지도 기반 영역 선택을 피하고, 모델 행동을 기반으로 모방을 유도한다.
• 일반화 성능를 검증하기 위해 MS COCO 및 PASCAL VOC에서 ResNet-50, ResNet-101, ResNet-152 백본을 사용해 실험을 수행한다.

실험 결과

연구 질문

• RQ1 유사한 특징 반응을 보일 뿐만 아니라 교사 모델에 비해 성능이 열등한 학생 검출기의 이유는 무엇인가?
• RQ2 교사 모델과 학생 모델 간의 후보 검출 랭킹은 어떻게 다를 수 있으며, 이를 정복 지식으로 활용할 수 있는가?
• RQ3 학습자-학생 쌍에서 특징 반응 차이와 예측 차이 간의 관계는 무엇인가?
• RQ4 예측 차이를 사용해 더 효과적이고 효율적인 특징 모방을 유도할 수 있는가?
• RQ5 소프트 레이블 정복을 랭킹 기반 지식 전달로 대체하면 검출 정확도가 향상되는가?

주요 결과

• ResNet50 기반 RetinaNet은 MS COCO에서 40.4% mAP를 달성하여 기준 모델 대비 3.5% 향상되고 DeFeat(이전 최고 성능) 대비 0.7% 향상되었다.
• 랭킹 모방(RM)은 기존의 소프트 레이블 정복보다 일관되게 뛰어나며, 분류 점수 및 박스 품질 랭킹을 모두 모방할 경우 최대 1.4% mAP 향상을 기록했다.
• 예측 유도 특징 모방(PFI)은 수작업 마스크(예: 양성/음성 샘플, GT 박스)를 초월해 최소 0.5% mAP 향상을 기록하며, 더 나은 적응형 모방 능력을 입증했다.
• PFI는 예측 차이가 가장 큰 영역에 집중해 모방함으로써 비효율적 기울기 갱신을 줄여 훈련 효율성과 정확도를 향상시켰다.
• PASCAL VOC에서 이 방법은 ResNet50 기반 RetinaNet의 mAP를 81.1%에서 82.2%로 향상시켜 최신 기준 성능을 달성했다.
• RoIAlign를 사용하지 않더라도 GID, Fitnet, FGFI 대비 각각 0.5%, 2.2%, 1.0% 향상되어 성능을 뛰어넘었다.