[논문 리뷰] Identification of Surface Defects on Solar PV Panels and Wind Turbine Blades using Attention based Deep Learning Model

Divyanshi Dwivedi, K. Victor Sam Moses Babu외 3명|arXiv (Cornell University)|2022. 11. 23.

Photovoltaic System Optimization Techniques인용 수 7

한 줄 요약

이 논문은 드론 촬영한 고해상도 영상 자료를 활용하여 태양광 PV 패널과 풍력 터빈 블레이드의 표면 결함을 자동으로 감지하기 위한 비전 트랜스포머(ViT) 기반 딥러닝 모델을 제안한다. ViT 모델은 태양광 패널에서 98.66%의 정확도를 기록했으며, 풍력 터빈 블레이드에서는 97.33%의 정확도를 달성하여 MobileNet, VGG16, Xception, EfficientNetB7, ResNet50 등 기존의 모든 평가 지표와 학습 시간에서 뛰어난 성능을 보였다.

ABSTRACT

The global generation of renewable energy has rapidly increased, primarily due to the installation of large-scale renewable energy power plants. However, monitoring renewable energy assets in these large plants remains challenging due to environmental factors that could result in reduced power generation, malfunctioning, and degradation of asset life. Therefore, the detection of surface defects on renewable energy assets is crucial for maintaining the performance and efficiency of these plants. This paper proposes an innovative detection framework to achieve an economical surface monitoring system for renewable energy assets. High-resolution images of the assets are captured regularly and inspected to identify surface or structural damages on solar panels and wind turbine blades. {Vision transformer (ViT), one of the latest attention-based deep learning (DL) models in computer vision, is proposed in this work to classify surface defects.} The ViT model outperforms other DL models, including MobileNet, VGG16, Xception, EfficientNetB7, and ResNet50, achieving high accuracy scores above 97\% for both wind and solar plant assets. From the results, our proposed model demonstrates its potential for monitoring and detecting damages in renewable energy assets for efficient and reliable operation of renewable power plants.

연구 동기 및 목표

• 효율성과 수명을 저하시키는 표면 결함을 감지하기 위해 대규모 재생 에너지 자산을 모니터링하는 데 도전 과제를 해결하기 위해.
• 드론 기반 영상 점검을 활용해 자동화되고 비용 효율적이며 신뢰할 수 있는 결함 감지 시스템을 개발하기 위해.
• 미세하거나 초기 단계의 구조적 손상 감지를 위해 수동 점검 및 전통적인 CNN 모델의 한계를 극복하기 위해.
• 비전 트랜스포머(ViT)를 포함한 주목적 기반 딥러닝 모델의 성능을 기존의 CNN 아키텍처와 비교 평가하기 위해.
• 재생 에너지 발전소의 스케일링 가능한 지능형 모니터링 프레임워크를 통해 초기 고장 징후를 조기에 탐지하기 위해.

제안 방법

• 표면 결함 분석을 위해 태양광 PV 패널과 풍력 터빈 블레이드의 고해상도 드론 촬영 영상을 활용하기 위해.
• 이미지 패치를 시퀀스로 처리하기 위해 자기주의 메커니즘을 활용하는 비전 트랜스포머(ViT) 모델을 구현하기 위해.
• 균열, 변색, 부식 등의 다중 클래스 결함 분류 작업에 대해 ViT 모델을 미세 조정하기 위해.
• 기준 CNN 모델인 MobileNet, VGG16, Xception, EfficientNetB7, ResNet50와의 비교를 위해 ViT 모델을 학습하고 평가하기 위해.
• 표준 딥러닝 평가 지표를 사용하기 위해: 정확도, 정밀도, 재현율, F1-스코어, Cohens Kappa, Matthews 상관계수(MCC).
• 100 에포크 동안의 추론 시간 측정을 통해 학습 효율성을 최적화하여 ViT의 계산적 우수성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 모델이 태양광 PV 패널과 풍력 터빈 블레이드의 표면 결함을 분류하는 데 기존의 컨volutional 신경망(CNN)을 능가할 수 있는가?
• RQ2 ViT 모델은 MobileNet, VGG16, Xception, EfficientNetB7, ResNet50와 비교해 결함 감지의 정확도, 정밀도, 재현율 및 F1-스코어 측면에서 어떻게 성능을 내는가?
• RQ3 기타 딥러닝 모델 대비 ViT 모델의 학습 시간 측면에서 계산 효율성은 어떠한가?
• RQ4 충분한 결함 전용 데이터로 훈련된 ViT 모델은 저강도 신호를 가진 초기 고장을 탐지할 수 있는가?
• RQ5 ViT의 주목적 메커니즘이 복잡한 실세계의 재생 에너지 자산 점검 환경에서 일반화 능력과 강건성을 얼마나 향상시키는가?

주요 결과

• ViT 모델은 태양광 PV 패널의 표면 결함 분류에서 98.66%의 정확도를 기록했으며, ResNet50(96.58%), EfficientNetB7(94.55%) 등 다른 모든 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• 풍력 터빈 블레이드의 경우 ViT 모델은 97.33%의 정확도를 달성했으며, ResNet50(94.08%)과 Xception(90.20%)를 뛰어넘었고, Matthews 상관계수(MCC)는 0.9635를 기록했다.
• ViT 모델은 태양광 패널 데이터에서 최고의 F1-스코어(0.9950)를 기록했으며, 풍력 터빈 블레이드 데이터에서는 0.9791를 기록하여 정밀도와 재현율의 균형이 뛰어나다는 것을 보여주었다.
• ViT 모델은 100 에포크 학습에 단 22분이면 완료되어 다른 모델 대비 뛰어난 계산 효율성을 입증했다.
• ViT 모델은 태양광 패널에서 최고의 MCC 스코어(0.9828)를 기록했으며, 풍력 터빈 블레이드에서는 0.9635를 기록하여 예측 레이블과 실제 레이블 간의 뛰어난 상관관계를 보였다.
• ViT 모델은 제한된 데이터셋에서도 강건성을 보였으며, 특히 데이터 부족으로 인해 다른 모델이 94% 정확도를 초과하지 못한 풍력 터빈 블레이드의 경우 뛰어난 성능을 보였다.