[論文レビュー] Crack Semantic Segmentation using the U-Net with Full Attention Strategy

Fangzheng Lin, Jiesheng Yang+2 more|arXiv (Cornell University)|Apr 29, 2021

Infrastructure Maintenance and Monitoring参考文献 25被引用数 12

ひとこと要約

本論文では、全結合注意機構とすべてのエンコーダ層からのスキップ接続を統合した、全結合注意U-Netという新しい意味的セグメンテーションアーキテクチャを提案する。このアーキテクチャは、U-Netに全結合注意戦略を組み込むことで、クラックセグメンテーションにおいて最先端の性能を達成し、細胞画像およびクラック画像データセットの両方で、mIoUとエッジ検出の明確さにおいて、U-Net、アテンションU-Net、および高度なアテンションU-Netを上回った。

ABSTRACT

Structures suffer from the emergence of cracks, therefore, crack detection is always an issue with much concern in structural health monitoring. Along with the rapid progress of deep learning technology, image semantic segmentation, an active research field, offers another solution, which is more effective and intelligent, to crack detection Through numerous artificial neural networks have been developed to address the preceding issue, corresponding explorations are never stopped improving the quality of crack detection. This paper presents a novel artificial neural network architecture named Full Attention U-net for image semantic segmentation. The proposed architecture leverages the U-net as the backbone and adopts the Full Attention Strategy, which is a synthesis of the attention mechanism and the outputs from each encoding layer in skip connection. Subject to the hardware in training, the experiments are composed of verification and validation. In verification, 4 networks including U-net, Attention U-net, Advanced Attention U-net, and Full Attention U-net are tested through cell images for a competitive study. With respect to mean intersection-over-unions and clarity of edge identification, the Full Attention U-net performs best in verification, and is hence applied for crack semantic segmentation in validation to demonstrate its effectiveness.

研究の動機と目的

• 深層学習を用いた構造健全性モニタリングにおける正確なクラック検出の課題に対処すること。
• U-Netにおける特徴表現を強化することで、クラック画像の意味的セグメンテーション性能を向上させること。
• すべてのエンコーダ層からの特徴をスキップ接続を介して統合する、新しいアテンション機構を開発すること。
• 提案された全結合注意U-Netの有効性を、実世界のクラックセグメンテーションタスクで検証すること。
• 定量的指標およびエッジ検出品質の両面で、既存のU-Net変種を上回る優れた性能を示すこと。

提案手法

• 本手法は、意味的セグメンテーションのバックボーンとしてU-Netアーキテクチャを基盤として構築する。
• すべてのエンコーダ層からの特徴マップとアテンションマップをスキップ接続を通じて融合する、全結合注意戦略を導入する。
• チャネル別および空間的重みを計算するアテンション機構を用いて、すべてのエンコーダ段階で顕著な特徴を強調する。
• 融合された特徴は連結され、畳み込み層を介してデコンボリューション層に渡され、密度予測が行われる。
• クラックセグメンテーションにおけるクラス不均衡に対処するため、バイナリクロスエントロピー損失にフォーカル損失を組み合わせて、エンドツーエンドでネットワークを訓練する。
• 実験には、細胞画像におけるアブレーションスタディと、実際のクラックデータセットにおける検証を含め、汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 すべてのエンコーダ層にアテンション機構を統合することで、クラックセグメンテーション性能が向上するか？
• RQ2 全結合注意U-Netは、標準U-Netおよびアテンション強化変種と比較して、mIoUおよびエッジ検出においてどのように差をつけるか？
• RQ3 提案されたアテンション戦略は、微細なクラック構造の特徴表現を強化するか？
• RQ4 全結合注意U-Netは、さまざまなクラック画像分布に対して頑健で汎用的か？
• RQ5 すべてのエンコーダ層からのスキップ接続が、最終的なセグメンテーション精度にどの程度寄与するか？

主な発見

• 検証フェーズにおいて、細胞画像データセットで全結合注意U-Netが、比較対象の全モデルの中で最高の平均交差率（mIoU）スコアを達成した。
• モデルは優れたエッジ同一定位の明確さを示し、微細なクラック構造の局所化が向上したことを示した。
• アブレーションスタディにより、すべてのエンコーダ層からのアテンションを統合することで、単一層のアテンションよりも顕著にセグメンテーション品質が向上することが確認された。
• mIoUおよびエッジ検出指標の両方において、U-Net、アテンションU-Net、および高度なアテンションU-Netを上回った。
• 実際のクラックデータセットでの検証により、モデルの有効性と実用的構造健全性モニタリングシナリオにおける汎化能力が確認された。
• テストされたクラックセグメンテーションベンチマークにおいて、全結合注意U-Netは最先端の性能を達成した。