[論文レビュー] SIGAN: A Novel Image Generation Method for Solar Cell Defect Segmentation and Augmentation

Binyi Su, Zhong Zhou+2 more|arXiv (Cornell University)|Apr 11, 2021

Industrial Vision Systems and Defect Detection参考文献 30被引用数 11

ひとこと要約

本稿では、太陽電池の発光エミッション（EL）欠陥分類およびデータ拡張のための新しいGANベースの手法SIGANを提案する。背景の一貫性を保つ強力なアイデンティティ損失を活用することで、欠陥のある画像から欠陥なしの画像を生成し、画像差分としきい値処理によって欠陥分類を実現する。また、リアルな合成欠陥画像を生成し、データ拡張に活用する。EL-2019データセットにおいて90.34%のFスコアを達成し、分類のFスコアを最大0.91%向上させた。

ABSTRACT

Solar cell electroluminescence (EL) defect segmentation is an interesting and challenging topic. Many methods have been proposed for EL defect detection, but these methods are still unsatisfactory due to the diversity of the defect and background. In this paper, we provide a new idea of using generative adversarial network (GAN) for defect segmentation. Firstly, the GAN-based method removes the defect region in the input defective image to get a defect-free image, while keeping the background almost unchanged. Then, the subtracted image is obtained by making difference between the defective input image with the generated defect-free image. Finally, the defect region can be segmented through thresholding the subtracted image. To keep the background unchanged before and after image generation, we propose a novel strong identity GAN (SIGAN), which adopts a novel strong identity loss to constraint the background consistency. The SIGAN can be used not only for defect segmentation, but also small-samples defective dataset augmentation. Moreover, we release a new solar cell EL image dataset named as EL-2019, which includes three types of images: crack, finger interruption and defect-free. Experiments on EL-2019 dataset show that the proposed method achieves 90.34% F-score, which outperforms many state-of-the-art methods in terms of solar cell defects segmentation results.

研究の動機と目的

• 産業応用における低品質で不均衡な太陽電池EL欠陥データセットの課題に対処すること。
• 欠陥のある画像から複雑な背景テクスチャを保持したまま、現実的な欠陥なし画像を生成できるGANベースの手法を開発すること。
• 元の欠陥あり画像と生成された欠陥なし画像の差分処理により、ピクセルレベルのアノテーションが不要な正確な欠陥分類を実現すること。
• 欠陥なし画像から多様で高品質な合成欠陥画像を生成することで、少数サンプルの欠陥検出を支援すること。
• 亀裂、フィンガーカット、欠陥なしの3種類の欠陥を含む、新たに公開されたEL-2019データセットを提供すること。

提案手法

• SIGANは、欠陥ありから欠陥なしへの画像変換において背景の一貫性を強制するための、新規の強力なアイデンティティ損失を備えた条件付きGANフレームワークを採用する。
• ピクセルレベルのアノテーションを必要とせず、未対応の画像間変換を可能にするために、サイクル整合性損失と敵対的損失を用いる。
• 欠陥分類は、元の欠陥あり入力画像から生成された欠陥なし画像を差し引いた後、しきい値処理を施して欠陥領域を分離することで実現する。
• データ拡張のために、SIGANは逆変換を実行する——すなわち、欠陥なし画像からリアルな欠陥画像を生成する——これにより、小規模な学習データセットが拡張される。
• 強力なアイデンティティ損失により、欠陥あり→欠陥なしおよび欠陥なし→欠陥ありの両方の変換において、背景テクスチャがほとんど変化しないことが保証され、リアルさと一貫性が向上する。
• モデルは256×256のパッチ解像度で学習され、GPU上で1枚あたり62msの推論速度を達成している。

実験結果

リサーチクエスチョン

• RQ1 GANベースの手法は、複雑な背景テクスチャを保持しつつ、欠陥のある太陽電池EL画像から欠陥なし画像を効果的に生成できるか？
• RQ2 生成された欠陥なし画像を元の欠陥あり画像から差し引くことで、ピクセルレベルのアノテーションが不要な正確な欠陥分類が可能か？
• RQ3 欠陥なし画像をリアルな欠陥画像に逆変換することで、小規模な産業用欠陥データセットの拡張が有効に機能するか？
• RQ4 実世界の太陽電池ELデータセットにおいて、提案手法SIGANの欠陥分類Fスコアは最先端手法と比較してどのように優れているか？
• RQ5 SIGANを用いたデータ拡張は、太陽電池欠陥分類の下流CNNモデルの性能をどの程度向上させるか？

主な発見

• SIGANはEL-2019データセットにおいて欠陥分類で90.34%のFスコアを達成し、複数の最先端手法を上回った。
• SIGANを用いたデータ拡張により、下流の分類モデルの総Fスコアが最大0.91%向上し、Densenet121は拡張済みデータセットで99.85%のFスコアを達成した。
• SIGANで生成されたデータの使用により、特に低コントラストまたは poorly lit（ poorly lit はそのままで）欠陥の認識が向上し、欠陥ありと欠陥なしのクラス境界が明確になった。
• データ拡張戦略により、トレーニング分布の多様性が向上し、過学習が軽減され、一般化性能が向上した。
• SIGANの推論速度は1枚あたり62msであり、産業用途への導入に適した効率的性能を有している。
• 本手法は256×256のパッチに限定されており、1024×1024のEL画像への拡張は今後の課題のまま残っている。