[論文レビュー] A Novel Approach for Defect Detection of Wind Turbine Blade Using Virtual Reality and Deep Learning

Md. Fazle Rabbi, Solayman Hossain Emon+6 more|arXiv (Cornell University)|Dec 30, 2023

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本稿では、Unityで生成された合成仮想現実画像と、語義セグメンテーション用にカスタマイズされたU-Netディープラーニングモデルを用いて、風力タービンのブレードに生じる欠陥を検出する新規な欠陥検出システムを提案する。Unity Perceptionパッケージを活用して、亀裂、リーディングエッジエロージョン、デ bonding、ライトニングストライク損傷の4種類の欠陥タイプについて、背景が異なるリアルな画像を生成することで、Dice係数0.658を達成し、ドローンによる自律的点検において妥当な精度を示した。

ABSTRACT

Wind turbines are subjected to continuous rotational stresses and unusual external forces such as storms, lightning, strikes by flying objects, etc., which may cause defects in turbine blades. Hence, it requires a periodical inspection to ensure proper functionality and avoid catastrophic failure. The task of inspection is challenging due to the remote location and inconvenient reachability by human inspection. Researchers used images with cropped defects from the wind turbine in the literature. They neglected possible background biases, which may hinder real-time and autonomous defect detection using aerial vehicles such as drones or others. To overcome such challenges, in this paper, we experiment with defect detection accuracy by having the defects with the background using a two-step deep-learning methodology. In the first step, we develop virtual models of wind turbines to synthesize the near-reality images for four types of common defects - cracks, leading edge erosion, bending, and light striking damage. The Unity perception package is used to generate wind turbine blade defects images with variations in background, randomness, camera angle, and light effects. In the second step, a customized U-Net architecture is trained to classify and segment the defect in turbine blades. The outcomes of U-Net architecture have been thoroughly tested and compared with 5-fold validation datasets. The proposed methodology provides reasonable defect detection accuracy, making it suitable for autonomous and remote inspection through aerial vehicles.

研究の動機と目的

• 風力タービンブレード点検におけるディープラーニングモデルの学習に必要な実世界の欠陥データが限られているという課題に対処すること。
• 仮想現実を用いて多様でリアルな合成画像を生成することで、背景バイアスや環境の変動性を克服し、欠陥検出の精度を向上させること。
• ドローンなどの航空機器に搭載可能な、耐障害性の高い自律型欠陥検出システムの開発。
• 合成データで学習したU-Netベースのセグメンテーションモデルの性能を、4つの一般的なブレード欠陥に対して評価すること。
• 遠隔地の陸上および洋上風力タービンブレードの正確でリアルタイムかつスケーラブルな点検を可能にすること。

提案手法

• UnityのPerceptionパッケージを用いて、亀裂、リーディングエッジエロージョン、デ bonding、ライトニングストライク損傷の4つの欠陥タイプを有する風力タービンブレードの高精細な合成画像を生成。
• 背景、照明、カメラアングル、欠陥の配置に変化を加えることで、合成データセットのリアリズムと一般化性能を向上。
• 642組の合成画像-マスクペア（75％訓練、25％テスト）を用いて、カスタマイズされたU-Netアーキテクチャを語義セグメンテーション用に訓練。
• Jaccard損失とDice損失を用いて、不均衡なバイナリマスクにおけるセグメンテーション性能を向上させるためにAdam最適化手法を採用。
• モデル性能の評価にはJaccardインデックスとDice係数を用い、予測マスクと正解マスクの重複度を測定。
• Google Colab上で100エポックの学習を実施し、欠陥のピクセルレベルでの局所化精度に焦点を当てた。

Figure 1: Designing the wind turbine

実験結果

リサーチクエスチョン

• RQ1 合成仮想現実生成画像は、風力タービンブレード点検におけるディープラーニングモデルの学習に、実世界の欠陥変動を効果的に模倣できるか？
• RQ2 合成データで学習したU-Netモデルの性能は、実世界のベンチマークと比較して、一般的なブレード欠陥のセグメンテーションにおいてどの程度の水準にあるか？
• RQ3 合成データにおける背景の変動性と環境のリアリズムは、一般化性能と検出精度をどの程度向上させるか？
• RQ4 仮想現実とディープラーニングの組み合わせにより、妥当なセグメンテーション精度を達成する自律的ドローンベース点検が可能になるか？
• RQ5 Jaccard損失とDice損失を用いることで、小規模で不均衡な欠陥データセットにおけるモデルの収束性とセグメンテーション品質にどのような影響を与えるか？

主な発見

• U-NetモデルはテストセットでDice係数0.658を達成し、欠陥局所化における中程度のセグメンテーション精度を示した。
• モデルは、変化する背景や照明条件下でも、亀裂、リーディングエッジエロージョン、デ bonding、ライトニングストライク損傷の4つの欠陥タイプすべてに対して妥当な性能を示した。
• 可視化結果から、予測マスクが正解マスクに近く、一部のピクセルが見逃されたが、細粒度のセグメンテーション向上の余地があることが示された。
• Unity Perceptionを用いた合成データの活用により、リアルな変動を伴う効率的なデータ拡張が可能となり、高価な実世界データ収集への依存が軽減された。
• Jaccard損失とDice損失の併用により、特に小規模で希少な欠陥領域において、モデルの収束性とセグメンテーション品質が向上した。
• ピクセルレベルの精度に限界はあったが、本手法はドローンを用いた自律的航空点検システムへの実装において強く有望な可能性を示した。

Figure 2: Schematic overview of wind turbine defect type and generated model amount