[논문 리뷰] Comprehensive Performance Evaluation of YOLOv11, YOLOv10, YOLOv9, YOLOv8 and YOLOv5 on Object Detection of Power Equipment

Zijian He, Kai Wang외 4명|arXiv (Cornell University)|2024. 11. 28.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 연구는 전력 설비의 물체 검출을 위한 YOLOv5, YOLOv8, YOLOv9, YOLOv10 및 YOLOv11을 평가하며, 공개 데이터셋에서 YOLOv11이 가장 높은 mAP(57.2%)와 재현율(64.8%)을 기록하여 C3K2 모듈과 C2PSA 주의 메커니즘과 같은 아키텍처 개선을 통해 이전 버전을 능가함을 입증한다.

ABSTRACT

With the rapid development of global industrial production, the demand for reliability in power equipment has been continuously increasing. Ensuring the stability of power system operations requires accurate methods to detect potential faults in power equipment, thereby guaranteeing the normal supply of electrical energy. In this article, the performance of YOLOv5, YOLOv8, YOLOv9, YOLOv10, and the state-of-the-art YOLOv11 methods was comprehensively evaluated for power equipment object detection. Experimental results demonstrate that the mean average precision (mAP) on a public dataset for power equipment was 54.4%, 55.5%, 43.8%, 48.0%, and 57.2%, respectively, with the YOLOv11 achieving the highest detection performance. Moreover, the YOLOv11 outperformed other methods in terms of recall rate and exhibited superior performance in reducing false detections. In conclusion, the findings indicate that the YOLOv11 model provides a reliable and effective solution for power equipment object detection, representing a promising approach to enhancing the operational reliability of power systems.

연구 동기 및 목표

• 최근 YOLO 버전(v5부터 v11까지)이 전력 설비 검출에 어떻게 작용하는지 평가하여 전력 시스템의 신뢰성을 향상시키는 것.
• 실제 산업 환경에서 전력 설비에 대해 가장 정확하고 견고한 물체 검출 모델을 특정화하는 것.
• YOLOv11의 아키텍처 변화가 복잡한 환경에서 검출 정확도, 속도 및 견고성에 미치는 영향을 분석하는 것.
• 전력 시스템 모니터링 및 고장 탐지 분야에서 YOLOv11을 최첨단 솔루션으로 도입할 수 있는 실증적 근거를 제공하는 것.

제안 방법

• YOLOv11 모델은 YOLOv8의 C2f 모듈을 대체하여 두 개의 작은 컨볼루션 레이어를 사용하는 맞춤형 C3K2 모듈을 도입함으로써 효율성과 특징 추출 능력을 향상시켰다.
• YOLOv8의 SPPF 모듈을 유지하여 다중 척도 특징 학습 및 공간 피ラ미드 풀링 성능을 향상시켰다.
• 채널과 공간 주의를 통합하여 보다 효과적인 특징 표현을 가능하게 하는 새로운 C2PSA 모듈을 도입하였다.
• 다양한 데이터셋에 적합한 앵커 박스 구성 최적화를 자동으로 수행할 수 있도록 적응형 앵커 프레임 메커니즘을 구현하여 국소화 정확도를 향상시켰다.
• 표준 물체 검출 평가 지표인 mAP, 정밀도, 재현율을 사용하여 공개된 전력 설비 데이터셋에서 모델을 훈련 및 검증하였다.
• 실험은 전선과 풀러터 각각에 대해 mAP, 정밀도, 재현율을 사용하여 다섯 가지 YOLO 버전 간의 비교 평가를 포함한다.

실험 결과

연구 질문

• RQ1 YOLOv11은 전력 설비 물체 검출에서 mAP와 재현율 측면에서 YOLOv5, YOLOv8, YOLOv9, YOLOv10과 비교해 어떻게 성능을 냈는가?
• RQ2 YOLOv11의 향상된 검출 성능에 기여한 주요 아키텍처 혁신은 무엇인가?
• RQ3 적응형 앵커 프레임 메커니즘이 다양한 전력 설비 유형에 걸쳐 검출 정확도를 얼마나 향상시켰는가?
• RQ4 C3K2와 C2PSA 모듈이 개별적으로나 함께 작용할 때 특징 추출 및 검출의 견고성을 어떻게 향상시켰는가?
• RQ5 복잡한 산업 환경에서 YOLOv11은 이전 YOLO 모델 대비 거짓 양성 및 거짓 음성 결과를 유의미하게 감소시켰는가?

주요 결과

• YOLOv11은 전력 설비 검출 데이터셋에서 57.2%의 최고 평균 평균 정밀도(mAP)를 기록하여 YOLOv5(54.4%), YOLOv8(55.5%), YOLOv9(43.8%), YOLOv10(48.0%)를 모두 앞섰다.
• YOLOv11는 64.8%의 최고 재현율을 기록하여 참 양성 사례를 잘 탐지하고 거짓 음성 결과를 최소화하는 데 뛰어난 능력을 보였다.
• 특정 전력 설비 유형에 대해 YOLOv11은 전선에 대해 73.9%의 mAP, 풀러터에 대해 62.0%의 mAP를 기록하여 모든 다른 모델을 능가했다.
• YOLOv11의 C3K2 모듈은 더 작은 커널 크기를 통해 계산 부담을 감소시키면서도 성능을 유지하여 추론 속도를 향상시켰다.
• C2PSA 모듈의 통합은 채널과 공간적 종속성을 함께 모델링함으로써 특징 표현 능력을 크게 향상시켰다.
• 적응형 앵커 프레임 메커니즘은 앵커 박스의 자동 최적화를 가능하게 하여 다양한 데이터셋에서 높은 국소화 정확도를 기여했다.