[論文レビュー] Weakly Supervised Segmentation of Cracks on Solar Cells using Normalized Lp Norm

Martin Mayr, Mathis Hoffmann+2 more|arXiv (Cornell University)|Jan 30, 2020

Industrial Vision Systems and Defect Detection被引用数 5

ひとこと要約

本稿では、微調整されたResNet-50の特徴マップに正規化されたLpノルムプーリングを適用することで、画像レベルのアノテーションのみを用いて太陽電池の発光電流（EL）画像における亀裂を弱教師付きでセグメンテーションする深層学習手法を提案する。この手法は、正確な亀裂局在化を達成しており、特にL∞ノルムが最も鋭いセグメンテーションをもたらし、低pノルムよりも細かい亀裂構造をよりよく保持している。一方で、一部のノルムでは分類性能がやや低くなるが、依然として優れたセグメンテーション性能を示す。

ABSTRACT

Photovoltaic is one of the most important renewable energy sources for dealing with world-wide steadily increasing energy consumption. This raises the demand for fast and scalable automatic quality management during production and operation. However, the detection and segmentation of cracks on electroluminescence (EL) images of mono- or polycrystalline solar modules is a challenging task. In this work, we propose a weakly supervised learning strategy that only uses image-level annotations to obtain a method that is capable of segmenting cracks on EL images of solar cells. We use a modified ResNet-50 to derive a segmentation from network activation maps. We use defect classification as a surrogate task to train the network. To this end, we apply normalized Lp normalization to aggregate the activation maps into single scores for classification. In addition, we provide a study how different parameterizations of the normalized Lp layer affect the segmentation performance. This approach shows promising results for the given task. However, we think that the method has the potential to solve other weakly supervised segmentation problems as well.

研究の動機と目的

• ピクセル単位のマスクを取得することが高コストであるため、モノシリコンおよびポリシリコン太陽電池の発光電流（EL）画像における亀裂セグメンテーションの課題に対処すること。
• アノテーションの負担を軽減するため、学習に画像レベルラベルのみを用いる弱教師付き学習手法の開発。
• 異なる正規化されたLpノルムプーリング戦略が弱教師付きセマンティックセグメンテーション性能に与える影響を調査すること。
• ノイズが多く、粗いグレイン構造を持つポリシリコン太陽電池画像においても、バスバー やテクスチャの類似性に起因する誤検出を回避しながら、強力な亀裂検出を可能にすること。
• 太陽電池の製造および保守における工業的品質管理に適した、スケーラブルで単一のフォワードパスによるソリューションを提供すること。

提案手法

• 空間分解能の保持を図るため、初期ブロックでのダウンサンプリングを低減した変更版ResNet-50アーキテクチャを採用。
• 最終層の分類ヘッドの学習に、画像レベルのラベルを代替ラベルとして使用。
• 各特徴マップに対して独立に正規化されたLpノルムプーリングを適用し、活性化マップをグローバルな画像レベルスコアに集約。
• 最後の畳み込み層からの活性化マップを、正規化によりスケール不変性を確保した疑似セグメンテーションマップとして活用。
• p値（1から∞まで）を変化させ、正規化されたLpノルムの効果がセグメンテーション品質に与える影響を体系的に評価。
• 最終的なセグメンテーション出力は「亀裂」クラスの活性化マップから得られ、L∞ノルムが最も鋭い局在化を実現。

実験結果

リサーチクエスチョン

• RQ1 正規化されたLpノルムの選択が、太陽電池EL画像における亀裂検出の弱教師付きセグメンテーション品質にどのように影響を与えるか？
• RQ2 画像レベルのアノテーションのみを用いて、深層ネットワークの単一フォワードパスで意味のある亀裂セグメンテーションを生成できるか？
• RQ3 異なるLpノルムを用いる場合、分類性能とセグメンテーション品質の相関関係はどのようになるか？
• RQ4 正規化されたLpノルムにおけるp値の違いが、小さな鋭い亀裂と大きなバブル状欠陓の局在化にどのように影響を与えるか？
• RQ5 構造的・テクスチャ的差異があるモノシリコンおよびポリシリコン太陽電池の両タイプに、この手法は一般化可能か？

主な発見

• L∞ノルムが最も鋭く、正確な亀裂セグメンテーションを実現し、細かいエッジを持つ亀裂を効果的に強調するとともに、ノイズを抑制する。
• L1およびL3ノルムは最高の分類F1スコア（0.83）を達成したが、そのセグメンテーション結果はぼやけており、正確性に欠ける。
• L4およびL5ノルムは劣悪なセグメンテーションを示し、亀裂領域が検出できなかった。これは、鋭い局在化には高いp値が不可欠であることを示唆している。
• 低p値（例：L1–L4）の活性化マップでは非亀裂領域に高い値が現れるが、高p値（例：L∞）では逆転し、亀裂領域が高活性化領域として際立つ。
• セグメンテーション品質は分類性能と厳密に相関しない。L∞ノルムはF1スコアが0.77と低いにもかかわらず、良好なセグメンテーション性能を示している。
• この手法は、ノイズの多いテクスチャやバスバー構造が存在する状況下でも、モノシリコンおよびポリシリコン太陽電池の両方で亀裂を正しくセグメンテーションできた。