[论文解读] A Novel Approach for Defect Detection of Wind Turbine Blade Using Virtual Reality and Deep Learning

Md. Fazle Rabbi, Solayman Hossain Emon+6 more|arXiv (Cornell University)|Dec 30, 2023

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

本文提出了一种新型风力涡轮机叶片缺陷检测系统，利用Unity生成的合成虚拟现实图像和定制的U-Net深度学习模型进行语义分割。通过使用Unity Perception工具包生成四种缺陷类型（裂纹、前缘侵蚀、分层和雷击损伤）的逼真、背景多变的图像，该方法在测试集上实现了0.658的Dice系数，表明其在自主无人机检测中具备合理的准确性。

ABSTRACT

Wind turbines are subjected to continuous rotational stresses and unusual external forces such as storms, lightning, strikes by flying objects, etc., which may cause defects in turbine blades. Hence, it requires a periodical inspection to ensure proper functionality and avoid catastrophic failure. The task of inspection is challenging due to the remote location and inconvenient reachability by human inspection. Researchers used images with cropped defects from the wind turbine in the literature. They neglected possible background biases, which may hinder real-time and autonomous defect detection using aerial vehicles such as drones or others. To overcome such challenges, in this paper, we experiment with defect detection accuracy by having the defects with the background using a two-step deep-learning methodology. In the first step, we develop virtual models of wind turbines to synthesize the near-reality images for four types of common defects - cracks, leading edge erosion, bending, and light striking damage. The Unity perception package is used to generate wind turbine blade defects images with variations in background, randomness, camera angle, and light effects. In the second step, a customized U-Net architecture is trained to classify and segment the defect in turbine blades. The outcomes of U-Net architecture have been thoroughly tested and compared with 5-fold validation datasets. The proposed methodology provides reasonable defect detection accuracy, making it suitable for autonomous and remote inspection through aerial vehicles.

研究动机与目标

• 为解决风力涡轮机叶片检测中深度学习模型训练所面临的实际缺陷数据有限的问题。
• 通过使用虚拟现实生成多样化、逼真的合成图像，克服背景偏差和环境变化对缺陷检测的影响。
• 开发一种稳健的、可自主运行的缺陷检测系统，适用于部署于无人机等空中平台。
• 评估基于合成数据训练的U-Net分割模型在四种常见叶片缺陷上的性能。
• 实现在偏远陆上和海上区域中对风力涡轮机叶片进行准确、实时且可扩展的检测。

提出的方法

• 利用Unity的Perception工具包生成具有四种缺陷类型（裂纹、前缘侵蚀、分层和雷击损伤）的高保真度合成图像。
• 通过引入背景、光照、相机角度和缺陷位置的多样性变化，提升合成数据集的真实感与泛化能力。
• 使用642对合成图像-掩码数据（75%用于训练，25%用于测试）训练定制的U-Net架构进行语义分割。
• 采用Adam优化器配合Jaccard损失和Dice损失，以提升在类别不平衡二值掩码上的分割性能。
• 使用Jaccard指数和Dice系数评估模型性能，量化预测掩码与真实掩码之间的重叠程度。
• 在Google Colab上进行100个周期的训练，重点提升缺陷定位的像素级准确性。

Figure 1: Designing the wind turbine

实验结果

研究问题

• RQ1 合成的虚拟现实生成图像能否有效模拟真实世界中风力涡轮机叶片缺陷的多样性，以用于深度学习模型的训练？
• RQ2 在分割常见叶片缺陷时，基于合成数据训练的U-Net模型性能与真实世界基准相比如何？
• RQ3 合成数据中背景变化和环境真实感在多大程度上提升了模型的泛化能力和检测准确性？
• RQ4 虚拟现实与深度学习的结合能否实现具备可接受分割准确率的自主无人机检测？
• RQ5 在小样本且类别不平衡的缺陷数据集上，使用Jaccard损失和Dice损失对模型收敛性和分割质量有何影响？

主要发现

• U-Net模型在测试集上实现了0.658的Dice系数，表明其在缺陷定位方面具备中等水平的分割准确性。
• 该模型在不同背景和光照条件下，对所有四种缺陷类型（裂纹、前缘侵蚀、分层和雷击损伤）均表现出合理的检测性能。
• 可视化结果显示，预测掩码与真实掩码高度吻合，但部分像素存在漏检，表明在细粒度分割方面仍有改进空间。
• 通过Unity Perception生成的合成数据实现了高效的、具备真实感的增强数据扩充，减少了对昂贵真实世界数据采集的依赖。
• Jaccard损失与Dice损失的结合提升了模型收敛速度与分割质量，尤其在小而稀疏的缺陷区域表现更优。
• 尽管在像素级准确性方面存在局限，该方法在部署于无人机的自主空中检测系统方面展现出强劲潜力。

Figure 2: Schematic overview of wind turbine defect type and generated model amount