[论文解读] Identification of Surface Defects on Solar PV Panels and Wind Turbine Blades using Attention based Deep Learning Model

Divyanshi Dwivedi, K. Victor Sam Moses Babu+3 more|arXiv (Cornell University)|Nov 23, 2022

Photovoltaic System Optimization Techniques被引用 7

一句话总结

本文提出一种基于视觉变换器（ViT）的深度学习模型，利用无人机拍摄的高分辨率图像，实现对太阳能光伏板和风力涡轮机叶片表面缺陷的自动化检测。该ViT模型在太阳能光伏板上达到98.66%的准确率，在风力涡轮机叶片上达到97.33%的准确率，优于MobileNet、VGG16、Xception、EfficientNetB7和ResNet50在所有评估指标和训练时间上的表现。

ABSTRACT

The global generation of renewable energy has rapidly increased, primarily due to the installation of large-scale renewable energy power plants. However, monitoring renewable energy assets in these large plants remains challenging due to environmental factors that could result in reduced power generation, malfunctioning, and degradation of asset life. Therefore, the detection of surface defects on renewable energy assets is crucial for maintaining the performance and efficiency of these plants. This paper proposes an innovative detection framework to achieve an economical surface monitoring system for renewable energy assets. High-resolution images of the assets are captured regularly and inspected to identify surface or structural damages on solar panels and wind turbine blades. {Vision transformer (ViT), one of the latest attention-based deep learning (DL) models in computer vision, is proposed in this work to classify surface defects.} The ViT model outperforms other DL models, including MobileNet, VGG16, Xception, EfficientNetB7, and ResNet50, achieving high accuracy scores above 97\% for both wind and solar plant assets. From the results, our proposed model demonstrates its potential for monitoring and detecting damages in renewable energy assets for efficient and reliable operation of renewable power plants.

研究动机与目标

• 解决大规模可再生能源资产表面缺陷监测的挑战，这些缺陷会降低效率并缩短使用寿命。
• 开发一种基于无人机图像检测的自动化、低成本且可靠的缺陷检测系统。
• 克服人工检测和传统卷积神经网络（CNN）模型在检测细微或早期结构损伤方面的局限性。
• 评估基于注意力机制的深度学习模型（特别是视觉变换器，ViT）与成熟CNN架构的性能表现。
• 通过可扩展的智能监测框架，实现在可再生能源发电厂中对早期故障的早期检测。

提出的方法

• 利用无人机拍摄的太阳能光伏板和风力涡轮机叶片的高分辨率图像进行缺陷分析。
• 实施一种视觉变换器（ViT）模型，通过自注意力机制将图像块处理为序列。
• 在多类别缺陷分类任务上微调ViT模型，包括太阳能板和叶片上的裂纹、变色和侵蚀等缺陷。
• 将ViT模型与基准CNN模型（MobileNet、VGG16、Xception、EfficientNetB7和ResNet50）进行训练和评估。
• 采用标准深度学习评估指标：准确率、精确率、召回率、F1分数、Cohen’s Kappa系数和Matthews相关系数（MCC）。
• 通过测量100个周期的推理时间，优化训练效率，展示ViT在计算上的优势。

实验结果

研究问题

• RQ1 基于视觉变换器的模型是否能在分类太阳能光伏板和风力涡轮机叶片表面缺陷方面优于传统卷积神经网络？
• RQ2 在缺陷检测的准确率、精确率、召回率和F1分数方面，ViT模型与MobileNet、VGG16、Xception、EfficientNetB7和ResNet50相比表现如何？
• RQ3 与其它深度学习模型相比，ViT模型在训练时间方面的计算效率如何？
• RQ4 当在足够多的缺陷特定数据上进行训练时，ViT模型能否检测到具有低幅值特征的早期故障？
• RQ5 ViT中的注意力机制在复杂、真实世界的可再生能源资产检测中，对泛化能力和鲁棒性的提升程度如何？

主要发现

• ViT模型在太阳能光伏板表面缺陷分类中达到98.66%的准确率，显著优于ResNet50（96.58%）和EfficientNetB7（94.55%）等其他模型。
• 在风力涡轮机叶片上，ViT模型达到97.33%的准确率，超过ResNet50（94.08%）和Xception（90.20%），Matthews相关系数（MCC）达0.9635。
• ViT模型在太阳能板数据上获得最高的F1分数（0.9950），在风力涡轮机叶片数据上为0.9791，表明精确率与召回率之间具有良好的平衡。
• ViT模型仅用22分钟即可完成100个周期的训练，相比其他模型展现出更优的计算效率。
• ViT模型在太阳能板上获得最高的MCC分数（0.9828），在风力涡轮机叶片上为0.9635，表明预测标签与实际标签之间具有极高的相关性。
• ViT模型在小样本数据集上表现出强鲁棒性，尤其在风力涡轮机叶片检测中，其他模型因数据稀缺而无法突破94%的准确率。