[논문 리뷰] Structural Knowledge Distillation for Object Detection

Philip de Rijk, Lukas Schneider외 2명|arXiv (Cornell University)|2022. 11. 23.

Advanced Neural Network Applications인용 수 21

한 줄 요약

본 논문은 픽셀 단위의 Lp 특징 증류를 SSIM 기반 손실로 대체하여 밝도(luminance), 대비(contrast), 구조(structure)를 포착하고, MSCOCO에서 RetinaNet과 Faster R-CNN 모두에서 일관된 AP 향상을 얻으며, 종종 최첨단 KD 방법을 능가한다.

ABSTRACT

Knowledge Distillation (KD) is a well-known training paradigm in deep neural networks where knowledge acquired by a large teacher model is transferred to a small student. KD has proven to be an effective technique to significantly improve the student's performance for various tasks including object detection. As such, KD techniques mostly rely on guidance at the intermediate feature level, which is typically implemented by minimizing an lp-norm distance between teacher and student activations during training. In this paper, we propose a replacement for the pixel-wise independent lp-norm based on the structural similarity (SSIM). By taking into account additional contrast and structural cues, feature importance, correlation and spatial dependence in the feature space are considered in the loss formulation. Extensive experiments on MSCOCO demonstrate the effectiveness of our method across different training schemes and architectures. Our method adds only little computational overhead, is straightforward to implement and at the same time it significantly outperforms the standard lp-norms. Moreover, more complex state-of-the-art KD methods using attention-based sampling mechanisms are outperformed, including a +3.5 AP gain using a Faster R-CNN R-50 compared to a vanilla model.

연구 동기 및 목표

• 복잡한 샘플링 스킴 없이 객체 탐지에서 대형 교사와 컴팩트한 학생 간의 지식 격차를 줄이고자 하는 동기를 제시한다.
• 교사와 학생 특징 간의 국소 평균, 분산, 교차상관을 포착하기 위해 SSIM에 기반한 특징 증류 손실을 도입한다.
• 다양한 아키텍처와 학습 설정에서 MSCOCO에 대해 SSIM 기반 KD가 우수한 탐지 성능을 낸다는 것을 입증한다.
• 제안된 방법이 가볍고(한 줄 코드 변경) 주의 기반 샘플링에 의존하는 최첨단 KD 방법보다 성능이 우수할 수 있음을 보여준다.

제안 방법

• 전통적인 Lp 특징 증류를 로컬 밝기(평균), 대비(분산), 구조(교차상관)를 포착하는 SSIM 기반 손실로 교체한다.
• 세 가지 SSIM 구성요소(luminance, contrast, structure)를 11x11 가우시안 패치 위에서 계산하여 결합 손실 L_ssim을 형성한다.
• 증류 손실을 적용하기 전에 교사/학생 특징을 정규화하고 필요 시 적응시키며(min-max 정규화와 1x1 컨볼루션 사용)
• 증류 손실과 원래 탐지 손실을 L = lambda * L_feat + L_det로 결합하며, lambda는 조정 가능한 가중치이다.
• PyTorch/MMDetection2로 학습하며, ResNet/ResNeXt 백본을 사용하는 RetinaNet 및 Faster R-CNN에서 MSCOCO로 평가한다.
• 밝기/대비/구조(alpha, beta, gamma), 패치 크기, 그리고 적응 계층의 존재 여부를 포함한 소거 실험을 탐구한다.

실험 결과

연구 질문

• RQ1 SSIM 기반 증류가 객체 탐지기에 대해 전통적인 Lp 기반 특징 증류보다 우수한가?
• RQ2 밝기, 대비, 구조 구성요소가 지식 전달 및 탐지 성능에 어떻게 기여하는가?
• RQ3 다양한 탐지기 아키텍처와 학습 스케줄에서 SSIM 기반 KD가 견고한가?
• RQ4 간단한 한 줄의 코드 변경으로 복잡한 샘플링 메커니즘 없이도 효과적인 KD를 구현할 수 있는가?
• RQ5 주의 기반 샘플링에 의존하는 최첨단 KD 방법과 SSIM 기반 KD의 비교는 어떠한가?

주요 결과

Backbone / Method	AP	AP50	AP75	AP_S	AP_M	AP_L
RetinaNet-R50 (Ours, SSIM)	40.1	59.2	43.1	23.1	44.6	53.2
RetinaNet-R50 (L2)	36.8	55.7	39.1	20.6	40.5	47.3
RetinaNet-R50 (L1)	38.7	57.6	41.6	22.7	42.7	50.5
Faster R-CNN-R50 (Ours, SSIM)	40.9	61.0	44.9	23.7	44.5	53.5
Faster R-CNN-R50 (L2)	37.4	57.6	40.9	21.2	41.3	48.1
Faster R-CNN-R50 (L1)	38.6	58.8	42.1	21.8	42.1	49.9

• SSIM-based distillation outperforms Lp norms by up to 3.7 AP on MSCOCO across RetinaNet and Faster R-CNN.
• Using SSIM yields more distributed error signaling across the feature space, guiding the student toward the teacher more effectively.
• The structure component (gamma) has the strongest positive impact, with gamma-only configurations achieving up to +3.2 AP.
• Integrating SSIM-based KD with various backbones and detectors consistently improves AP across S, M, and L object sizes.
• Our method matches or surpasses state-of-the-art KD methods (e.g., Zhang and Ma; Kang et al.) in AP gains, often with better large-object performance (AP_L).
• Adaptation layers are beneficial when teacher and student architectures differ; otherwise, they may be optional.
• A single line change (replacing L2 with L_ssim) suffices to deploy the method in existing pipelines.