[논문 리뷰] A Novel Approach for Defect Detection of Wind Turbine Blade Using Virtual Reality and Deep Learning

Md. Fazle Rabbi, Solayman Hossain Emon외 6명|arXiv (Cornell University)|2023. 12. 30.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 유니티에서 생성한 합성 가상현실 영상과 맞춤형 U-Net 딥러닝 모델을 사용하여 풍력 터빈 블레이드의 결함 검출 시스템을 제안한다. 유니티 퍼셉션 패키지를 활용해 균일한 배경을 가진 네 가지 결함 유형—균열, 리드인 에로지언, 떼어짐, 번개 침입 손상—의 현실적인 영상을 생성함으로써, 모델은 딱도 계수(Dice coefficient) 0.658을 달성하여 드론 기반 자율 점검에 대해 합리적인 정확도를 보여주었다.

ABSTRACT

Wind turbines are subjected to continuous rotational stresses and unusual external forces such as storms, lightning, strikes by flying objects, etc., which may cause defects in turbine blades. Hence, it requires a periodical inspection to ensure proper functionality and avoid catastrophic failure. The task of inspection is challenging due to the remote location and inconvenient reachability by human inspection. Researchers used images with cropped defects from the wind turbine in the literature. They neglected possible background biases, which may hinder real-time and autonomous defect detection using aerial vehicles such as drones or others. To overcome such challenges, in this paper, we experiment with defect detection accuracy by having the defects with the background using a two-step deep-learning methodology. In the first step, we develop virtual models of wind turbines to synthesize the near-reality images for four types of common defects - cracks, leading edge erosion, bending, and light striking damage. The Unity perception package is used to generate wind turbine blade defects images with variations in background, randomness, camera angle, and light effects. In the second step, a customized U-Net architecture is trained to classify and segment the defect in turbine blades. The outcomes of U-Net architecture have been thoroughly tested and compared with 5-fold validation datasets. The proposed methodology provides reasonable defect detection accuracy, making it suitable for autonomous and remote inspection through aerial vehicles.

연구 동기 및 목표

• 풍력 터빈 블레이드 점검에서 딥러닝 모델 학습을 위한 실제 결함 데이터가 부족한 문제를 해결하기 위해.
• 가상현실을 활용해 다양한 배경과 환경 변화를 가진 현실적인 합성 영상을 생성함으로써 배경 편향과 환경 변동성을 극복하기 위해.
• 드론과 같은 항공 차량에 배치 가능한 내구성 있는 자율 결함 검출 시스템을 개발하기 위해.
• 합성 데이터로 훈련된 U-Net 기반 세그멘테이션 모델의 성능을 네 가지 일반적인 블레이드 결함에 대해 평가하기 위해.
• 원격의 온쇼어 및 오프쇼어 지역에서 정확하고 실시간이며 확장 가능한 풍력 터빈 블레이드 점검을 가능하게 하기 위해.

제안 방법

• 유니티의 퍼셉션 패키지를 사용하여 균열, 리드인 에로지언, 떼어짐, 번개 침입 손상의 네 가지 결함 유형을 가진 풍력 터빈 블레이드의 고해상도 합성 영상을 생성하였다.
• 배경, 조도, 카메라 각도 및 결함 위치에 다양한 변형을 도입하여 합성 데이터셋의 현실성과 일반화 능력을 향상시켰다.
• 642개의 합성 영상-마스크 쌍(훈련 75%, 테스트 25%)을 사용하여 맞춤형 U-Net 아키텍처를 세그멘테이션을 위해 훈련시켰다.
• 이민다이어그램 손실(Jaccard loss)과 딱도 손실(Dice Loss)을 사용한 Adam 옵timizer를 적용하여 이질적인 이진 마스크에서의 세그멘테이션 성능을 향상시켰다.
• 예측된 마스크와 진짜 마스크 간의 겹침 정도를 측정하기 위해 Jaccard 지수와 딱도 계수를 사용하여 모델 성능을 평가하였다.
• Google Colab에서 100 에포크 동안 훈련을 수행하여 결함 지역의 픽셀 수준 정확도에 중점을 두었다.

Figure 1: Designing the wind turbine

실험 결과

연구 질문

• RQ1 합성 가상현실 영상으로 생성된 이미지가 풍력 터빈 블레이드 점검의 딥러닝 모델 학습을 위한 실제 결함 변동을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 합성 데이터로 훈련된 U-Net 모델의 성능은 실제 데이터 기반 기준과 비교해 블레이드 결함 세그멘테이션에서 어떻게 나타나는가?
• RQ3 합성 데이터의 배경 변동성과 환경적 현실성은 일반화 능력과 검출 정확도에 어느 정도 기여하는가?
• RQ4 가상현실과 딥러닝의 조합이 수용 가능한 세그멘테이션 정확도를 확보하면서도 자율적인 드론 기반 점검을 가능하게 할 수 있는가?
• RQ5 작고 불균형한 결함 데이터셋에 대해 Jaccard 손실과 딱도 손실을 사용할 경우 모델 수렴과 세그멘테이션 품질에 어떤 영향을 미치는가?

주요 결과

• U-Net 모델은 테스트 세트에서 딱도 계수 0.658을 달성하여 결함 국소화에 대해 중간 정도의 세그멘테이션 정확도를 보였다.
• 모델은 다양한 배경과 조도 조건에서 균열, 리드인 에로지언, 떼어짐, 번개 침입 손상 등 네 가지 결함 유형 모두에 대해 합리적인 성능을 보였다.
• 시각화 결과 예측 마스크가 진짜 마스크와 유사하게 나타났지만, 일부 픽셀이 누락된 것으로 나타나 미세한 세그멘테이션 향상 여지가 있음을 시사했다.
• 유니티 퍼셉션를 통한 합성 데이터 사용은 현실적인 변형을 가진 효율적인 데이터 증강을 가능하게 하여 고비용의 실제 데이터 수집에 대한 의존도를 감소시켰다.
• Jaccard 손실과 딱도 손실의 조합은 특히 작은 크기이거나 흐린 결함 영역에서 모델 수렴과 세그멘테이션 품질을 향상시켰다.
• 픽셀 수준 정확도에 한계가 있음에도 불구하고, 제안된 방법은 드론을 활용한 자율 항공 점검 시스템에 상당한 잠재력을 보여주었다.

Figure 2: Schematic overview of wind turbine defect type and generated model amount