[논문 리뷰] Distilling Object Detectors with Task Adaptive Regularization

Ruoyu Sun, Fuhui Tang외 3명|arXiv (Cornell University)|2020. 06. 23.

Advanced Neural Network Applications참고 문헌 31인용 수 44

한 줄 요약

본 논문은 region proposal 공유 및 모듈별 모방 손실(백본, 분류 헤드, 바운딩 박스 회귀)과 디스틸레이션 감소 전략을 활용한 객체 검출기용 태스크 적응 디스틸레이션 프레임워크를 제시하여, VOC에서 ResNet-101–50 학생 모델로 74.5 mAP를 달성하고 교사보다 우수하게 성능을 발휘한다.

ABSTRACT

Current state-of-the-art object detectors are at the expense of high computational costs and are hard to deploy to low-end devices. Knowledge distillation, which aims at training a smaller student network by transferring knowledge from a larger teacher model, is one of the promising solutions for model miniaturization. In this paper, we investigate each module of a typical detector in depth, and propose a general distillation framework that adaptively transfers knowledge from teacher to student according to the task specific priors. The intuition is that simply distilling all information from teacher to student is not advisable, instead we should only borrow priors from the teacher model where the student cannot perform well. Towards this goal, we propose a region proposal sharing mechanism to interflow region responses between the teacher and student models. Based on this, we adaptively transfer knowledge at three levels, \emph{i.e.}, feature backbone, classification head, and bounding box regression head, according to which model performs more reasonably. Furthermore, considering that it would introduce optimization dilemma when minimizing distillation loss and detection loss simultaneously, we propose a distillation decay strategy to help improve model generalization via gradually reducing the distillation penalty. Experiments on widely used detection benchmarks demonstrate the effectiveness of our method. In particular, using Faster R-CNN with FPN as an instantiation, we achieve an accuracy of $39.0\%$ with Resnet-50 on COCO dataset, which surpasses the baseline $36.3\%$ by $2.7\%$ points, and even better than the teacher model with $38.5\%$ mAP.

연구 동기 및 목표

• 무거운 객체 탐지기의 모델 미니어처화를 성능 저하 없이 촉진한다.
• 탐지기 모듈(백본, 분류 헤드, 회귀 헤드)에 맞춘 일반적인 디스틸레이션 프레임워크를 개발한다.
• 영역 제안 공유를 활용하여 영역 단위에서 교사/학생 일반화를 비교한다.
• 학습 안정성 및 일반화를 개선하기 위한 디스틸레이션 감소 전략을 도입한다.
• 표준 탐지 벤치마크(VOC, COCO)에서 Faster R-CNN 및 RetinaNet 백본에 걸쳐 효과를 입증한다.

제안 방법

• 교사와 학생 간의 영역 제안 공유를 도입하여 영역 수준 응답을 전달한다.
• 백본 디스틸레이션은 2D 가우시안 마스크를 사용하여 GT 상자 내의 전경을 강조한다.
• 분류 헤드 디스틸레이션은 양성 제안에 대해 교사로부터의 소프트 라벨과 GT으로부터의 하드 라벨을 사용한다.
• 바운딩 박스 회귀 디스틸레이션은 IoU 기준이 교사의 지도를 선호할 때에만 교사로부터의 적응 대상(targets)을 사용한다.
• 디스틸레이션 손실을 탐지 손실과 다중 작업 목표로 결합하고 디스틸레이션 감소 전략을 적용하여 점진적으로 디스틸 압력을 감소시킨다.
• VOC 및 COCO에서 FPN이 포함된 Faster R-CNN과 RetinaNet에 걸쳐 경험적으로 검증하고 mAP 향상을 보고한다.

실험 결과

연구 질문

• RQ1 탐지기 특화 지식 증류를 태스크 및 모듈(백본, 분류, 회귀)에 맞게 적응시킬 수 있는가?
• RQ2 영역 제안 공유가 모델 간 일반화 및 효과적인 디스틸레이션을 촉진하는가?
• RQ3 점진적으로 감소하는 디스틸레이션 패널티가 수렴 및 최종 탐지기 성능을 향상시키는가?
• RQ4 가우시안 기반 백본 디스틸레이션과 적응형 헤드 디스틸레이션이 객체 탐지에서 순진한 특징 모방과 비교하여 어떤 차이를 보이는가?

주요 결과

• VOC 2007에서 R-101 (teacher)와 R-50 (student)로 디스틸레이션을 적용하면 74.5의 mAP를 얻고 교사의 74.3보다 높다.
• 가우시안 마스크를 이용한 백본 디스틸레이션은 mAP에서 약 2.4포인트의 이득을 제공한다.
• 분류 헤드 디스틸레이션과 회귀 헤드 디스틸레이션은 각각 상당한 이득을 기여한다(각각 3.2포인트와 3.4포인트).
• 디스틸레이션 감소로 VOC 성능이 73.8에서 74.5 mAP로 추가로 향상되어 교사를 능가한다.
• COCO에서 디스틸레이션은 RetinaNet 및 Faster R-CNN 베이스라인을 개선하며 더 큰 교사보다 경쟁력 있거나 우수한 결과를 낼 수 있다(예: Retina-101이 Retina-50을 2.3 mAP 향상; R-152-50은 39.9 mAP에 도달하여 일부 더 큰 교사를 능가).