[논문 리뷰] Distilling Object Detectors via Decoupled Features

Jianyuan Guo, Kai Han외 5명|arXiv (Cornell University)|2021. 03. 26.

Advanced Neural Network Applications참고 문헌 65인용 수 26

한 줄 요약

이 논문은 DeFeat를 소개합니다. 이는 교사에서 학생으로 지식을 더 잘 이전하기 위해 특징 영역(객체 대 배경)과 양성 대 음성 RoI 제안을 분리하는 객체 탐지기의 지식 증류 방법으로, COCO 및 VOC에서 원-스테이지와 투 스테이지 탐지기에서 성능을 향상시킵니다.

ABSTRACT

Knowledge distillation is a widely used paradigm for inheriting information from a complicated teacher network to a compact student network and maintaining the strong performance. Different from image classification, object detectors are much more sophisticated with multiple loss functions in which features that semantic information rely on are tangled. In this paper, we point out that the information of features derived from regions excluding objects are also essential for distilling the student detector, which is usually ignored in existing approaches. In addition, we elucidate that features from different regions should be assigned with different importance during distillation. To this end, we present a novel distillation algorithm via decoupled features (DeFeat) for learning a better student detector. Specifically, two levels of decoupled features will be processed for embedding useful information into the student, i.e., decoupled features from neck and decoupled proposals from classification head. Extensive experiments on various detectors with different backbones show that the proposed DeFeat is able to surpass the state-of-the-art distillation methods for object detection. For example, DeFeat improves ResNet50 based Faster R-CNN from 37.4% to 40.9% mAP, and improves ResNet50 based RetinaNet from 36.5% to 39.7% mAP on COCO benchmark. Our implementation is available at https://github.com/ggjy/DeFeat.pytorch.

연구 동기 및 목표

• 객체와 배경 영역을 모두 고려한 중간 특징에서 객체 탐지기의 지식 전달을 개선하고자 한다.
• 배경 영역이 객체 영역을 보완하여 증류에 유효하다는 가정에 도전한다.
• 목 (FPN) 특징과 RoI 정렬 제안에 대해 작동하는 분리된 특징 증류 프레임워크(DeFeat)를 제안한다.
• COCO 및 VOC 데이터셋에서 Faster R-CNN/FPN(두 단계)과 RetinaNet(하나의 단계) 및 여러 백본에서의 효과를 입증한다.

제안 방법

• 중간 FPN 특징을 객체 영역과 배경 영역으로 분리하고, 지시된 마스크를 사용하여 별도의 모방 손실(Eq. 5)을 적용한다.
• 분류 헤드의 영역 제안을 양성(객체)과 음성(배경) 제안으로 분리하고, 별도의 KL 발산 손실(Eq. 8, Eq. 9)로 증류한다.
• 분리된 특징 증류(L_fea), 분리된 분류 증류(L_cls), 그리고 표준 탐지 손실(L_reg, L_rpn)을 결합하여 엔드 투 엔드 학습(Eq. 3)을 수행한다.
• 적응 가중치(alpha_obj, alpha_bg, beta_obj, beta_bg)와 온도 스케일링(T_obj, T_bg)을 사용하는 교사-학생 설정으로 그래디언트 크기를 균형 있게 조정한다(Eq. 5, Eq. 8).
• COCO 및 VOC에서 Faster R-CNN/FPN(두 단계)과 RetinaNet(하나의 단계)에 모두 적용 가능함을 입증한다.

실험 결과

연구 질문

• RQ1 목표는 neck 특징의 배경 영역이 객체 탐지기의 지식 증류를 더 효과적으로 기여할 수 있는가?
• RQ2 분류 헤드에서 객체/양성과 배경/음성 제안을 분리하는 것이 탐지에 대한 KD 성능을 향상시키는가?
• RQ3 DeFeat가 서로 다른 백본을 갖는 두 단계 및 하나의 단계 탐지기에 적용 가능한가?
• RQ4 분리된 특징이 COCO 및 VOC 벤치마크에서 기존 KD 방법에 비해 어떤 정량적 영향을 미치는가?

주요 결과

• DeFeat는 COCO에서 ResNet50-FPN으로 구성된 Faster R-CNN의 mAP를 37.4%에서 40.9%로, COCO에서 ResNet50-FPN으로 구성된 RetinaNet의 mAP를 36.5%에서 39.7%로 향상시켰다.
• 분리된 목(neck) 특징(객체와 배경)은 분리된 제안만 사용하는 경우보다 이득을 가져오며, 백본 증류가 최적 결과에 기여한다(COCO에서 40.9% mAP).
• 분리된 영역 제안(양성 vs 음성)이 분류 헤드에서 더 나은 그래디언트 균형과 더 높은 mAP를 제공하며, 모든 제안을 동일하게 처리하는 것보다 성능이 향상된다(예: 특정 구성에서 40.9% vs 40.5%).
• Pascal VOC에서 교사-학생 구성을 가진 DeFeat는 82.28% mAP를 달성하였다(기준 학생은 80.53%).
• DeFeat는 COCO에서 FGFI 및 TADF 기준선을 여러 설정에서 지속적으로 능가한다(예: RetinaNet/FPN 변형에서 39.7–40.9% mAP).
• 객체 영역이 위치 추정에 주도적으로 기여하고 배경 영역은 오탐을 줄이며, 두 요소 모두 전반적 이득에 기여한다는 추론 연구가 있다.