[논문 리뷰] SIGAN: A Novel Image Generation Method for Solar Cell Defect Segmentation and Augmentation

Binyi Su, Zhong Zhou외 2명|arXiv (Cornell University)|2021. 04. 11.

Industrial Vision Systems and Defect Detection참고 문헌 30인용 수 11

한 줄 요약

이 논문은 태양전지 전자발광(EL) 결함 분할 및 데이터 증강을 위한 새로운 GAN 기반 방법인 SIGAN을 제안한다. 배경 일관성을 유지하기 위해 강력한 아이덴티티 손실을 활용함으로써, 결함이 있는 이미지에서 결함이 없는 이미지를 생성함으로써 이미지 빼기와 임계값 처리를 통해 결함 분할을 가능하게 하고, 데이터 증강을 위한 현실적인 합성 결함 이미지도 생성한다. 이로써 EL-2019 데이터셋에서 90.34%의 F-스코어를 달성하며, 분류 F-스코어를 최대 0.91% 향상시킨다.

ABSTRACT

Solar cell electroluminescence (EL) defect segmentation is an interesting and challenging topic. Many methods have been proposed for EL defect detection, but these methods are still unsatisfactory due to the diversity of the defect and background. In this paper, we provide a new idea of using generative adversarial network (GAN) for defect segmentation. Firstly, the GAN-based method removes the defect region in the input defective image to get a defect-free image, while keeping the background almost unchanged. Then, the subtracted image is obtained by making difference between the defective input image with the generated defect-free image. Finally, the defect region can be segmented through thresholding the subtracted image. To keep the background unchanged before and after image generation, we propose a novel strong identity GAN (SIGAN), which adopts a novel strong identity loss to constraint the background consistency. The SIGAN can be used not only for defect segmentation, but also small-samples defective dataset augmentation. Moreover, we release a new solar cell EL image dataset named as EL-2019, which includes three types of images: crack, finger interruption and defect-free. Experiments on EL-2019 dataset show that the proposed method achieves 90.34% F-score, which outperforms many state-of-the-art methods in terms of solar cell defects segmentation results.

연구 동기 및 목표

• 산업 응용에서 저품질이거나 불균형한 태양전지 EL 결함 데이터셋 문제를 해결하기 위해.
• 복잡한 배경 무늬를 유지하면서 결함이 있는 이미지에서 결함이 없는 이미지를 생성할 수 있는 GAN 기반 방법을 개발하기 위해.
• 원본 및 생성된 결함이 없는 이미지 간의 이미지 빼기를 통해 정확한 결함 분할을 가능하게 하기 위해.
• 소규모 샘플 결함 탐지에 기여하기 위해 다양한 고품질의 합성 결함 이미지를 생성하여 데이터 증강을 가능하게 하기 위해.
• 균열, 패드 중단, 결함 없음의 세 가지 종류의 결함을 포함한 새로운 공개용 EL-2019 데이터셋을 제공하기 위해.

제안 방법

• SIGAN은 결함이 있는 이미지에서 결함이 없는 이미지로의 이미지 번역 과정에서 배경 일관성을 강제하기 위해 새로운 강력한 아이덴티티 손실을 활용한 조건부 GAN 프레임워크를 사용한다.
• 모델은 피кс셀 수준의 애너테이션 없이도 비짝환 이미지 번역을 가능하게 하기 위해 사이클 일관성 손실과 적대적 손실을 사용한다.
• 결함 분할은 원본 결함이 있는 입력 이미지에서 생성된 결함이 없는 이미지를 빼고, 그 결과에 임계값 처리를 적용하여 결함 영역을 분리함으로써 달성된다.
• 데이터 증강을 위해 SIGAN은 반대로 번역을 수행하여 결함이 없는 이미지에서 현실적인 결함 이미지를 생성함으로써 소규모 학습 세트를 확장한다.
• 강력한 아이덴티티 손실은 결함 → 결함 없음 및 결함 없음 → 결함 번역 과정에서 배경 무늬가 거의 변화하지 않도록 보장하여 현실성과 일관성을 향상시킨다.
• 모델은 256×256 패치 해상도에서 훈련되며, GPU에서 이미지당 62ms의 추론 속도를 갖는다.

실험 결과

연구 질문

• RQ1 GAN 기반 방법이 복잡한 배경 무늬를 유지하면서 결함이 있는 태양전지 EL 이미지에서 결함이 없는 이미지를 효과적으로 생성할 수 있는가?
• RQ2 생성된 결함이 없는 이미지를 원본 결함이 있는 이미지에서 빼는 방식이 피크셀 수준의 애너테이션 없이도 정확한 결함 분할을 가능하게 하는가?
• RQ3 결함이 없는 이미지를 현실적인 결함 이미지로의 반대로 번역이 소규모 산업 결함 데이터셋을 효과적으로 증강하는 데 기여하는가?
• RQ4 실제 태양전지 EL 데이터셋에서 상태 기반 기법 대비 SIGAN 방법의 결함 분할 F-스코어는 어떻게 비교되는가?
• RQ5 SIGAN 기반 데이터 증강은 태양전지 결함 분류의 후행 CNN 모델 성능을 어느 정도 향상시키는가?

주요 결과

• SIGAN은 EL-2019 데이터셋에서 결함 분할에 대해 90.34%의 F-스코어를 달성하여 다수의 최첨단 기법을 능가한다.
• SIGAN 증강 데이터를 사용할 경우, 후행 분류 모델의 총 F-스코어가 최대 0.91% 향상되며, Densenet121는 증강된 데이터셋에서 99.85%의 F-스코어를 기록한다.
• SIGAN가 생성한 데이터의 사용은 특히 저대비 또는 어두운 조명 조건의 결함을 인식하는 데 도움이 되어 결함 및 결함 없음 샘플 간의 클래스 경계를 더 명확하게 만든다.
• 데이터 증강 전략은 훈련 분포의 다양성을 증가시켜 모델의 과적합을 줄이고 일반화 능력을 향상시킨다.
• SIGAN의 추론 속도는 이미지당 62ms로 효율적이며 산업적 구현에 적합하다.
• 이 방법은 256×256 패치에 국한되어 있으며, 향후 과제로 전체 1024×1024 EL 이미지로의 확장 여부가 남아 있다.