[論文レビュー] Optimizing YOLOv5s Object Detection through Knowledge Distillation algorithm

Guanming Huang, Aoran Shen+4 more|arXiv (Cornell University)|Oct 16, 2024

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本論文では、YOLOv5lを教師モデルとして用いた知識蒸留を提案し、YOLOv5sを学生モデルとして最適化する手法を提示している。蒸留温度を向上させることで検出精度が向上することを示しており、最適な温度設定下では、元の YOLOv5s よりも優れた mAP50 および mAP50-95 スコアを達成している。150エポックの学習後、安定した収束を示している。

ABSTRACT

This paper explores the application of knowledge distillation technology in target detection tasks, especially the impact of different distillation temperatures on the performance of student models. By using YOLOv5l as the teacher network and a smaller YOLOv5s as the student network, we found that with the increase of distillation temperature, the student's detection accuracy gradually improved, and finally achieved mAP50 and mAP50-95 indicators that were better than the original YOLOv5s model at a specific temperature. Experimental results show that appropriate knowledge distillation strategies can not only improve the accuracy of the model but also help improve the reliability and stability of the model in practical applications. This paper also records in detail the accuracy curve and loss function descent curve during the model training process and shows that the model converges to a stable state after 150 training cycles. These findings provide a theoretical basis and technical reference for further optimizing target detection algorithms.

研究の動機と目的

• 知識蒸留が YOLOv5s の物体検出性能に与える影響を調査すること。
• 蒸留温度を変化させた場合、学生モデルの精度および安定性に及ぼす影響を分析すること。
• モデルの複雑さを増さずに YOLOv5s の検出精度を向上させること。
• 実世界の応用において、軽量な物体検出器を効果的かつ実用的に向上させる手法を提供すること。

提案手法

• YOLOv5l を教師ネットワークとして用い、小さな YOLOv5s 学生モデルに知識蒸留を実行する。
• 温度スケーリングを用いたソフトラベル蒸留を適用し、教師から学生への知識移行を実現する。
• 真のラベル損失と蒸留損失の両方を含む組み合わせ損失関数を用いて学生モデルを学習する。
• モデル性能に与える影響を評価するために、蒸留温度を体系的に変化させる。
• 収束性と安定性を評価するため、精度および損失曲線を用いて学習ダイナミクスをモニタリングする。
• 収束を確実にするために、150エポックにわたりモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 蒸留温度を変化させた場合、YOLOv5s 学生モデルの mAP50 および mAP50-95 性能にどのような影響を与えるか？
• RQ2 YOLOv5l からの知識蒸留により、YOLOv5s の精度が元の性能を超えて向上するか？
• RQ3 どの蒸留温度設定で学生モデルが最良の検出精度を達成するか？
• RQ4 知識蒸留後の学生モデルの性能は、どの程度安定的で信頼性があるか？
• RQ5 学習プロセスは安定した状態に収束するか？その収束に何エポック必要か？

主な発見

• 最適な蒸留温度下では、学生モデルが元の YOLOv5s よりも高い mAP50 および mAP50-95 スコアを達成した。
• 蒸留温度が上昇するに従い検出精度が向上し、特定の値でピークに達した後、平坦化または低下した。
• 150エポックの学習後、滑らかな損失曲線および精度曲線から、モデルが安定した状態に収束したことが示された。
• 知識蒸留により、軽量な YOLOv5s モデルの精度と信頼性が両方向上した。
• 温度スケーリングを用いたソフトラベルの使用により、YOLOv5l から YOLOv5s への知識移行が著しく改善された。