[논문 리뷰] Optimizing YOLOv5s Object Detection through Knowledge Distillation algorithm

Guanming Huang, Aoran Shen외 4명|arXiv (Cornell University)|2024. 10. 16.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 YOLOv5l을 교사 모델로 사용하여 YOLOv5s를 학생 모델로 최적화하는 지식 정복 기법을 제안하며, 정수 온도를 높일수록 객체 검출 정확도가 향상됨을 입증한다. 최적의 온도에서 학생 모델은 원래의 YOLOv5s보다 뛰어난 mAP50 및 mAP50-95 점수를 달성하며, 150 에포크 이후 안정적인 수렴을 보인다.

ABSTRACT

This paper explores the application of knowledge distillation technology in target detection tasks, especially the impact of different distillation temperatures on the performance of student models. By using YOLOv5l as the teacher network and a smaller YOLOv5s as the student network, we found that with the increase of distillation temperature, the student's detection accuracy gradually improved, and finally achieved mAP50 and mAP50-95 indicators that were better than the original YOLOv5s model at a specific temperature. Experimental results show that appropriate knowledge distillation strategies can not only improve the accuracy of the model but also help improve the reliability and stability of the model in practical applications. This paper also records in detail the accuracy curve and loss function descent curve during the model training process and shows that the model converges to a stable state after 150 training cycles. These findings provide a theoretical basis and technical reference for further optimizing target detection algorithms.

연구 동기 및 목표

• 지식 정복이 YOLOv5s 객체 검출 성능에 미치는 영향을 조사하기 위해.
• 다양한 정복 온도가 학생 모델의 정확도와 안정성에 미치는 영향을 분석하기 위해.
• 모델 복잡도를 증가시키지 않고 YOLOv5s의 검출 정확도를 향상시키기 위해.
• 실제 응용 분야에서 경량 객체 검출기 성능을 향상시키기 위한 실용적이고 효과적인 방법을 제공하기 위해.

제안 방법

• 더 큰 YOLOv5l을 교사 네트워크로 사용하여 지식 정복을 통해 작은 YOLOv5s 학생 모델을 안내한다.
• 온도 스케일링을 적용한 소프트 레이블 정복을 통해 교사에서 학생으로 지식을 전달한다.
• 실제 레이블과 정복 손실을 모두 포함하는 복합 손실 함수를 사용하여 학생 모델을 훈련시킨다.
• 모델 성능에 미치는 영향을 평가하기 위해 정복 온도를 체계적으로 변화시킨다.
• 정확도 및 손실 곡선을 모니터링하여 수렴성과 안정성을 평가한다.
• 수렴과 신뢰할 수 있는 성능 평가를 보장하기 위해 모델을 150 에포크 동안 훈련시킨다.

실험 결과

연구 질문

• RQ1 정복 온도를 변화시킬 경우 YOLOv5s 학생 모델의 mAP50 및 mAP50-95 성능에 어떤 영향을 미치는가?
• RQ2 YOLOv5l에서 유도된 지식 정복을 통해 YOLOv5s의 정확도가 원래 성능을 초월할 수 있는가?
• RQ3 어느 정복 온도에서 학생 모델이 최적의 검출 정확도를 달성하는가?
• RQ4 지식 정복 이후 학생 모델의 성능은 얼마나 안정적이고 신뢰할 수 있는가?
• RQ5 훈련 과정은 안정된 상태로 수렴하는가? 그리고 몇 에포크 후에 수렴하는가?

주요 결과

• 최적의 정복 온도에서 학생 모델은 원래 YOLOv5s보다 더 높은 mAP50 및 mAP50-95 점수를 확보하였다.
• 정복 온도가 높아질수록 검출 정확도가 향상되었으며, 특정 값에 도달한 후에는 정점에 도달하거나 감소하기 시작하였다.
• 손실 및 정확도 곡선이 부드럽게 나타나 150 에포크 이후 안정된 상태로 수렴함을 확인하였다.
• 지식 정복은 경량 YOLOv5s 모델의 정확도와 신뢰성 모두를 향상시켰다.
• 온도 스케일링을 적용한 소프트 레이블 사용이 YOLOv5l에서 YOLOv5s로의 지식 전달을 크게 향상시켰다.