[논문 리뷰] CrossKD: Cross-Head Knowledge Distillation for Object Detection

Jiabao Wang, Yumin Chen외 4명|arXiv (Cornell University)|2023. 06. 20.

Advanced Neural Network Applications인용 수 6

한 줄 요약

CrossKD는 객체 검출을 위한 새로운 지식 정련 프레임워크를 제안하며, 학생의 검출 헤드에서 교사의 헤드로 중간 특징을 전달하여 진짜 라벨과 교사 예측 간의 갈등을 완화함으로써 보다 일관된 예측 모방을 가능하게 한다. 이 교차 헤드 정련은 YOLOv5 기반 GFL-R50의 COCO에서 43.7 AP로 향상시켜 이전의 모든 정련 방법을 뛰어넘는다.

ABSTRACT

Knowledge Distillation (KD) has been validated as an effective model compression technique for learning compact object detectors. Existing state-of-the-art KD methods for object detection are mostly based on feature imitation. In this paper, we present a general and effective prediction mimicking distillation scheme, called CrossKD, which delivers the intermediate features of the student's detection head to the teacher's detection head. The resulting cross-head predictions are then forced to mimic the teacher's predictions. This manner relieves the student's head from receiving contradictory supervision signals from the annotations and the teacher's predictions, greatly improving the student's detection performance. Moreover, as mimicking the teacher's predictions is the target of KD, CrossKD offers more task-oriented information in contrast with feature imitation. On MS COCO, with only prediction mimicking losses applied, our CrossKD boosts the average precision of GFL ResNet-50 with 1x training schedule from 40.2 to 43.7, outperforming all existing KD methods. In addition, our method also works well when distilling detectors with heterogeneous backbones. Code is available at https://github.com/jbwang1997/CrossKD.

연구 동기 및 목표

• 지식 정련에서 예측 모방과 특징 모방 간의 성능 격차를 해소하기 위해.
• 진짜 라벨과 교사 예측이 자주 일치하지 않는 예측 모방에서 발생하는 충돌하는 지도 신호를 해결하기 위해.
• 학습자 및 교사 네트워크의 최적화 목표를 일치시켜 정련 효율을 향상시키기 위해.
• 복잡한 특징 모방에 의존하지 않고 예측 모방 손실만을 사용하여 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• CrossKD는 학생의 검출 헤드에서 얻은 중간 특징을 교사의 헤드로 전달하여 교차 헤드 예측을 생성한다.
• 정련 손실은 학생과 교사 간이 아니라, 교차 헤드 예측과 원본 교사 예측 간에 적용된다.
• 이 설계는 정련 손실을 학생의 원래 검출 헤드에서 분리함으로써 최적화 도중 충돌하는 기울기를 방지한다.
• 작업 특화 손실 함수를 사용한다: 회귀에는 GIoU, 분류에는 시그모이드 조절을 적용한 수정된 QFL을 사용한다.
• 공유된 네트워크 구성 덕분에 교차 헤드 예측이 교사 출력과 더 일관되게 되어 훈련 안정성이 향상된다.
• 이 방법은 특징 모방과 수직적 관계를 이루며, PKD와 같은 방법과 조합할 경우 추가적인 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 왜 객체 검출 정련에서 예측 모방은 특징 모방보다 성능이 열 劣하는가?
• RQ2 예측 모방에서 진짜 타겟과 정련 타겟 간의 성능 격차는 무엇이 원인인가?
• RQ3 정련 손실을 학생의 검출 헤드에서 분리하면 훈련 안정성과 성능 향상에 기여하는가?
• RQ4 학습자에서 교사 헤드로 특징을 전달하는 것이 기존 정련보다 더 일관된 지도 신호를 제공하는가?
• RQ5 단순히 예측 모방만을 사용하는 방법이 최신 기술 수준의 특징 모방 기반 정련 방법을 능가할 수 있는가?

주요 결과

• CrossKD는 특징 모방 손실 없이 예측 모방 손실만을 사용하여 GFL-R50 기반으로 COCO에서 43.7 AP를 달성했으며, 기준 모델 대비 3.5 AP 향상.
• 특징 모방 기반 방법을 포함한 기존 모든 객체 검출 정련 방법을 능가한다.
• PKD와 조합할 경우 CrossKD는 43.9 AP를 기록하여 특징 모방과의 상호 보완성과 독립성을 입증한다.
• 제거 분석 결과, QFL 손실이 양성 및 부정 영역에 모두 적용되었을 때 BCE보다 2.5 AP 높은 성능을 보였다.
• 시각화 결과, 교사의 예측이 열 劣한 경우조차도 CrossKD가 교사보다 더 우수한 검출 결과를 생성함을 확인했다.
• 빠른 훈련 수렴을 가능하게 하며, 충돌하는 지도 신호로 인한 훈련 불안정성을 방지한다.