[논문 리뷰] Weakly Supervised Segmentation of Cracks on Solar Cells using Normalized Lp Norm

Martin Mayr, Mathis Hoffmann외 2명|arXiv (Cornell University)|2020. 01. 30.

Industrial Vision Systems and Defect Detection인용 수 5

한 줄 요약

이 논문은 미세조정된 ResNet-50의 특징 맵에 대해 정규화된 Lp 노름 풀링을 적용하여 태양전지의 전기발광(EL) 영상에서 균열을 분할하는 약한 감독 기반 딥러닝 방법을 제안한다. 이 방법은 픽셀 수준의 마스크가 아닌 영상 수준의 레이블만으로도 정확한 균열 국소화를 달성하며, 연구 결과 L∞ 노름이 가장 날카운 분할 성능를 보이며, 낮은 p-노름보다 미세한 균열 구조를 더 잘 유지하는 것으로 나타났다. 다만 일부 노름에서는 분류 성능가 낮았다.

ABSTRACT

Photovoltaic is one of the most important renewable energy sources for dealing with world-wide steadily increasing energy consumption. This raises the demand for fast and scalable automatic quality management during production and operation. However, the detection and segmentation of cracks on electroluminescence (EL) images of mono- or polycrystalline solar modules is a challenging task. In this work, we propose a weakly supervised learning strategy that only uses image-level annotations to obtain a method that is capable of segmenting cracks on EL images of solar cells. We use a modified ResNet-50 to derive a segmentation from network activation maps. We use defect classification as a surrogate task to train the network. To this end, we apply normalized Lp normalization to aggregate the activation maps into single scores for classification. In addition, we provide a study how different parameterizations of the normalized Lp layer affect the segmentation performance. This approach shows promising results for the given task. However, we think that the method has the potential to solve other weakly supervised segmentation problems as well.

연구 동기 및 목표

• 픽셀 수준의 마스크를 확보하는 데 비용이 많이 들기 때문에, 단일 및 다결정 태양전지의 전기발광(EL) 영상에서 균열 분할 문제를 해결하기 위해.
• 애너테이션 부담을 줄이기 위해 학습에 영상 수준의 레이블만을 사용하는 약한 감독 기반 학습 방법을 개발하기 위해.
• 다양한 정규화된 Lp 노름 풀링 전략이 약한 감독 기반 의미 분할 성능에 미치는 영향을 조사하기 위해.
• 노이즈가 많고 입자 구조가 뚜렷한 다결정 태양전지 영상에서도 균열과 유사한 버스바 및 텍스처로 인한 오진을 방지하면서도 견고한 균열 탐지 성능을 확보하기 위해.
• 광물생산 및 유지보수 분야에서 산업 수준의 품질 관리에 적용 가능한 스케일러블하고 단일 프로퍼그레이션 기반 솔루션을 제공하기 위해.

제안 방법

• 공간 해상도를 보존하기 위해 초기 블록에서 다운샘플링을 감소시킨 수정된 ResNet-50 아키텍처를 사용한다.
• 최종 레이어에 분류 헤드를 학습하기 위해 영상 수준의 애너테이션을 서로서로 레이블로 사용한다.
• 각 특징 맵에 대해 독립적으로 정규화된 Lp 노름 풀링을 적용하여 활성화 맵을 전역적인 영상 수준의 점수로 집계한다.
• 마지막 합성곱 레이어의 활성화 맵을 의사 분할 맵으로 활용하며, 정규화를 통해 척도 불변성을 확보한다.
• 분할 품질에 대한 영향을 평가하기 위해 p 값(1에서 ∞까지)을 체계적으로 평가한다.
• 최종 분할 출력은 '균열' 클래스의 활성화 맵에서 유도되며, L∞ 노름이 가장 날카운 국소화를 생성한다.

실험 결과

연구 질문

• RQ1 정규화된 Lp 노름의 선택이 태양전지 EL 영상에서 균열 탐지에 대한 약한 감독 기반 분할 품질에 어떤 영향을 미치는가?
• RQ2 영상 수준의 애너테이션만을 사용하여 딥 네트워크를 한 번의 프로퍼게이션으로도 의미 있는 균열 분할을 생성할 수 있는가?
• RQ3 다양한 Lp 노름을 사용할 경우 분류 성능와 분할 품질 간의 상관관계는 어떻게 되는가?
• RQ4 정규화된 Lp 노름의 p 값이 작은, 날카운 균열과 더 큰, 덩어리 형태의 결함에 대한 국소화에 어떤 영향을 미치는가?
• RQ5 구조적 및 텍스처적 차이가 있는 단결정 및 다결정 태양전지 유형 간에도 이 방법이 일반화 가능한가?

주요 결과

• L∞ 노름이 가장 날카우며 정확한 균열 분할을 생성하여 미세한 가장자리가 뚜렷한 균열을 효과적으로 강조하면서 노이즈를 억제한다.
• L1 및 L3 노름은 높은 분류 F1 점수(0.83)를 달성하지만, 분할 결과는 흐리고 정밀도가 떨어진다.
• L4 및 L5 노름은 열악한 분할 성능을 보이며, 균열 영역이 감지되지 않아 고p 값이 날카운 국소화에 필수적임을 시사한다.
• 낮은 p 값(L1–L4)의 활성화 맵은 비균열 영역에서도 높은 값을 보이지만, 높은 p 값(L∞)은 이와 반대로 작용하여 균열 영역이 고활성 영역으로 두드러지게 나타난다.
• 분할 품질이 분류 성능와 엄격히 상관되지 않으며, L∞는 F1 점수(0.77)가 L1 및 L3보다 낮지만 양호한 분할 성능를 달성한다.
• 이 방법은 노이즈가 많고 버스바 등 균열과 유사한 텍스처를 가진 다결정 및 단결정 태양전지 모두에서 균열을 성공적으로 분할한다.