[논문 리뷰] Localization Distillation for Dense Object Detection

Zhaohui Zheng, Rongguang Ye외 5명|arXiv (Cornell University)|2021. 02. 24.

Advanced Neural Network Applications참고 문헌 64인용 수 6

한 줄 요약

이 논문은 밀도 높은 객체 검출을 위한 새로운 지식 증류 방법인 로컬라이제이션 디스틸레이션(LD)을 제안한다. 이 방법은 경계 박스 회귀를 확률 분포 매칭으로 재정의하여 교사에서 학생 네트워크로 로컬라이제이션 지식을 효율적으로 전달한다. 의미적 지식과 로컬라이제이션 지식 증류를 분리하고, 선택적 지식 전달을 위한 유의미한 로컬라이제이션 영역(VLR)을 도입함으로써, LD는 추론 비용을 증가시키지 않으면서도 최신 기술 수준의 성능을 달성한다. COCO에서 ResNet-50 기반으로 단일 스케일 1× 스케줄에서 AP를 40.1에서 42.1로 향상시킨다.

ABSTRACT

Knowledge distillation (KD) has witnessed its powerful capability in learning compact models in object detection. Previous KD methods for object detection mostly focus on imitating deep features within the imitation regions instead of mimicking classification logit due to its inefficiency in distilling localization information and trivial improvement. In this paper, by reformulating the knowledge distillation process on localization, we present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Moreover, we also heuristically introduce the concept of valuable localization region that can aid to selectively distill the semantic and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and localization knowledge distillation is more important and efficient than semantic knowledge for distilling object detectors. Our distillation scheme is simple as well as effective and can be easily applied to different dense object detectors. Experiments show that our LD can boost the AP score of GFocal-ResNet-50 with a single-scale 1x training schedule from 40.1 to 42.1 on the COCO benchmark without any sacrifice on the inference speed. Our source code and trained models are publicly available at https://github.com/HikariTJU/LD

연구 동기 및 목표

• 기존 지식 증류(KD) 방법이 밀도 높은 객체 검출에서 비효율적인 이유를 해결하기 위해, 특히 특징 일치에 의존하고 로컬라이제이션 지식을 간과하는 문제를 다루기 위해.
• 이전에는 객체 검출에서 효과적이지 않다고 여겨졌던 로짓 미러링이 적절히 재정의되면 특징 기반 증류를 능가할 수 있는지 조사하기 위해.
• 지역별 유용성에 기반해 의미적 지식과 로컬라이제이션 지식을 선택적으로 증류하는 메커니즘을 개발하여 증류 효율성과 성능을 향상시키기 위해.
• 로컬라이제이션 지식 증류가 의미적 지식 증류보다 더 중요하고 효과적임을 입증하기 위해.
• 추론 오버헤드 없이 다양한 밀도 높은 객체 검출기에서 즉각적으로 적용 가능한 플러그 앤 플레이 형식의 증류 방법을 만들기 위해.

제안 방법

• 객체 검출 증류를 재정의하여 경계 박자를 델타 함수가 아닌 확률 분포로 표현함으로써, 더 풍부한 로컬라이제이션 지식 전달을 가능하게 한다.
• 교사와 학생 네트워크의 예측된 경계 박자 확률 분포를 매칭하는 새로운 로컬라이제이션 디스틸레이션(LD) 모듈을 제안한다.
• 유의미한 로컬라이제이션 영역(VLR)이라는 개념을 도입하여, 로컬라이제이션 지식 전달에 가장 유용한 영역을 식별하고 우선순위를 정한다.
• 지식 증류를 두 가지 별도의 스트림으로 분리한다: 표준 로짓 미러링을 통한 의미적 지식 증류와 LD를 통한 로컬라이제이션 지식 증류로, 각각 다른 공간 영역에 적용한다.
• LD를 VLR가 식별한 고가치 영역에만 적용하는 별도의 증류 영역 전략을 활용하여, 훈련 효율성과 성능을 향상시킨다.
• 기존의 밀도 높은 검출기(GFocal, RetinaNet, FCOS 등)에 아키텍처 변경 없이도 LD를 원활하게 통합하며, 추가 파라미터 없이 적용된다.

Figure 2 : Existing KD pipelines for object detection. ① Logit Mimicking: classification KD in [ 20 ] . ② Feature Imitation: recent popular methods distill intermediate features based on various distillation regions, which usually need adaptive layers to align the size of the student’s feature map.

실험 결과

연구 질문

• RQ1 이전에는 객체 검출에서 효과적이지 않다고 여겨졌던 로짓 미러링이 적절히 재정의되면 특징 기반 증류를 능가할 수 있는가?
• RQ2 로컬라이제이션 지식 증류가 의미적 지식 증류보다 객체 검출 성능 향상에 더 중요하고 효율적인가?
• RQ3 유의미한 로컬라이제이션 영역에 기반한 선택적 증류 전략이 객체 검출의 증류 효율성과 정확도를 향상시킬 수 있는가?
• RQ4 의미적 지식과 로컬라이제이션 지식을 별도로 전달하는 방식이 특징 맵에 대한 통합형 하이브리드 증류보다 더 나은 성능을 낼 수 있는가?
• RQ5 LD는 추론 오버헤드 없이 다양한 밀도 높은 객체 검출기에 일반적으로 적용 가능하며 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• 로컬라이제이션에 적절히 재정의된 로짓 미러링은 기존 특징 일치 기반 방법보다 객체 검출 증류에서 더 나은 성능을 낼 수 있다.
• 의미적 지식 증류보다 로컬라이제이션 지식 증류가 객체 검출 성능 향상에 더 효과적이고 효율적임을 입증하였다.
• 제안된 LD 방법은 단일 스케일 1× 훈련 스케줄 하에서 COCO에서 GFocal-ResNet-50의 AP 점수를 40.1에서 42.1로 향상시켜 +2.0 AP 향상을 달성하였다.
• 다중 스케일 2× 스케줄에서 LD는 ResNeXt-101-32x4d-DCN 백본을 사용하는 GFocalV2를 COCO test-dev 2019에서 50.5 AP로 향상시켜, 동일 설정 하에서 기존 모든 검출기들을 능가하였다.
• 모델 파라미터나 추론 시간을 늘리지 않으면서도 여러 밀도 높은 검출기(GFocal, RetinaNet, FCOS, ATSS 등)에서 약 2 AP의 일관된 향상을 기록하였다.
• VLR 메커니즘이 로컬라이제이션 학습에 가장 유용한 영역을 효과적으로 식별하여 선택적이고 효율적인 증류를 가능하게 하였다.

Figure 3 : Illustration of localization distillation (LD) for an edge $e\in\mathcal{B}=\{t,b,l,r\}$ . Only the localization branch is visualized here. $\mathcal{S}(\cdot,\tau)$ is the generalized SoftMax function with temperature $\tau$ . For a given detector, we first switch the bounding box repres