[論文レビュー] Detection of Pavement Cracks by Deep Learning Models of Transformer and UNet

Yu Zhang, Lin Zhang|arXiv (Cornell University)|Apr 25, 2023

Infrastructure Maintenance and Monitoring被引用数 5

ひとこと要約

本研究では、視覚変換器とU-Netアーキテクチャを組み合わせた9種類のディーブラーニングモデルを用いて、自動的な舗装亀裂検出を評価した。SwinUNetが最も高い精度を達成し、変換器ベースのモデルが従来のCNNより亀裂セグメンテーションにおいて優れているが、より高い計算リソースを要することを示した。

ABSTRACT

Fracture is one of the main failure modes of engineering structures such as buildings and roads. Effective detection of surface cracks is significant for damage evaluation and structure maintenance. In recent years, the emergence and development of deep learning techniques have shown great potential to facilitate surface crack detection. Currently, most reported tasks were performed by a convolutional neural network (CNN), while the limitation of CNN may be improved by the transformer architecture introduced recently. In this study, we investigated nine promising models to evaluate their performance in pavement surface crack detection by model accuracy, computational complexity, and model stability. We created 711 images of 224 by 224 pixels with crack labels, selected an optimal loss function, compared the evaluation metrics of the validation dataset and test dataset, analyzed the data details, and checked the segmentation outcomes of each model. We find that transformer-based models generally are easier to converge during the training process and have higher accuracy, but usually exhibit more memory consumption and low processing efficiency. Among nine models, SwinUNet outperforms the other two transformers and shows the highest accuracy among nine models. The results should shed light on surface crack detection by various deep-learning models and provide a guideline for future applications in this field.

研究の動機と目的

• 視覚変換器とU-Netの変種を含む多様なディーブラーニングモデルの舗装表面亀裂検出における性能を評価すること。
• 亀裂セグメンテーションタスクにおけるモデルの精度、計算複雑性、および学習安定性を評価すること。
• 最適な損失関数の特定と、検証およびテストデータセットを用いたモデルの一般化能力の評価。
• 今後のインfraストラクチャーの健全性監視および保守応用のための比較ベンチマークを提供すること。

提案手法

• ピxlsレベルの亀裂アノテーションが付された711枚の高解像度（224×224）の舗装画像を収集・整備した。
• アノテートされたデータセット上で、2つの視覚変換器ベースのアーキテクチャと7つのU-Net変種を含む9つのディーブラーニングモデルを訓練した。
• 検証データ上で実験的評価を実施し、最良の性能を示す損失関数を選定した。
• 標準的なセグメンテーション指標を用いて、検証セットおよび独立したテストセットでモデルを評価した。
• すべてのアーキテクチャにおいて、モデルの収束特性、推論効率、メモリ消費量を分析した。
• セグメンテーション出力の定性的および定量的分析を通じて、耐性および精度を評価した。

実験結果

リサーチクエスチョン

• RQ1 視覚変換器ベースのモデルは、U-Netアーキテクチャと比較して、舗装亀裂のセグメンテーション精度においてどのように異なるか？
• RQ2 学習安定性および一般化能力を維持しつつ、どのディーブラーニングモデルアーキテクチャが最高の精度を達成するか？
• RQ3 モデルアーキテクチャの選択が、亀裂検出タスクにおける計算複雑性および推論効率に与える影響は何か？
• RQ4 損失関数の選択が、モデルの収束およびセグメンテーション性能に与える影響は何か？
• RQ5 標準のCNNベースのモデルと比較して、変換器ベースのモデルは一般化および耐性をどの程度向上させるか？

主な発見

• SwinUNetは、評価された9つのモデルの中で最高のセグメンテーション精度を達成し、標準のU-Netおよび他の視覚変換器ベースのアーキテクチャを上回った。
• 変換器ベースのモデルは、CNNベースのモデルと比較して、トレーニング中の収束が速く、最適化ダイナミクスの向上を示した。
• 高い精度を達成した反面、変換器ベースのモデルは顕著に高いメモリ消費量と低い推論効率を示した。
• 選定された損失関数により、検証データセットおよびテストデータセットの両方で一貫した性能が得られ、モデルの一般化能力が向上したことが裏付けられた。
• 視覚変換器ベースのアーキテクチャでは、学習のフラクチュエーションが少なく、入力の変動に対してもより高い耐性を示した。
• 結果から、SwinUNetのようなハイブリッドアーキテクチャは、U-Netの局所的インダクティブバイアスと視覚変換器のグローバルアテンションを効果的に組み合わせることで、優れた亀裂セグメンテーションが実現可能であることが確認された。