[論文レビュー] Unsupervised crack detection on complex stone masonry surfaces

Panagiotis Agrafiotis, Anastastios Doulamis+1 more|arXiv (Cornell University)|Mar 31, 2023

Infrastructure Maintenance and Monitoring被引用数 4

ひとこと要約

本論文は、RGB画像パッチを用いて複雑な石積みモルタル表面における亀裂検出のための教師なし深層学習手法を提案し、亀裂検出を異常検出問題として定式化する。最先端のCNNアーキテクチャを二値分類（『亀裂あり』または『亀裂なし』）に適応することで、最小限の学習データと少ないエポック数で高い精度を達成し、より複雑でデータ集約的なモデルを凌駕しながら、計算効率も維持する。

ABSTRACT

Computer vision for detecting building pathologies has interested researchers for quite some time. Vision-based crack detection is a non-destructive assessment technique, which can be useful especially for Cultural Heritage (CH) where strict regulations apply and, even simple, interventions are not permitted. Recently, shallow and deep machine learning architectures applied on various types of imagery are gaining ground. In this article a crack detection methodology for stone masonry walls is presented. In the proposed approach, crack detection is approached as an unsupervised anomaly detection problem on RGB (Red Green Blue) image patches. Towards this direction, some of the most popular state of the art CNN (Convolutional Neural Network) architectures are deployed and modified to binary classify the images or image patches by predicting a specific class for the tested imagery; 'Crack' or 'No crack', and detect and localize those cracks on the RGB imagery with high accuracy. Testing of the model was performed on various test sites and random images retrieved from the internet and collected by the authors and results suggested the high performance of specific networks compared to the rest, considering also the small numbers of epochs required for training. Those results met the accuracy delivered by more complex and computationally heavy approaches, requiring a large amount of data for training. Source code is available on GitHub https://github.com/pagraf/Crack-detection while datasets are available on Zenodo https://doi.org/10.5281/zenodo.6516913 .

研究の動機と目的

• 大規模なアノテート済みデータセットに依存せずに、文化的遺産の石積みモルタルにおける構造的亀裂を検出する課題に対処すること。
• 複雑で不均一なモルタルのテクスチャに特化した、頑健な教師なし異常検出フレームワークの開発。
• 非侵襲的評価が文化的遺産の文脈で可能な、RGB画像のみを用いた正確で局所的な亀裂検出の実現。
• 教師あり深層学習手法と比較して、広範な訓練データや計算リソースへの依存を低減すること。

提案手法

• 本手法は、クロップされたRGB画像パッチ上で亀裂検出を教師なし異常検出問題として扱う。
• 事前学習済みのCNNアーキテクチャ（例：ResNet、DenseNet）を、画像パッチにおける二値分類（『亀裂あり』対『亀裂なし』）に微調整する。
• ネットワークの内部特徴または活性化パターンから異常スコアを導出し、亀裂を示す乖離を特定する。
• 訓練中に亀裂を含む陽性サンプルの必要性を回避するため、正常（亀裂なし）パッチのみを用いてエンドツーエンドで訓練する。
• Grad-CAMや類似の注目メカニズムを用いて、入力画像内の異常領域を強調することで局所化を実現する。
• 汎用性を確保するため、多様な実世界のモルタル現場およびインターネットから収集した画像を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習のためのアノテート済み亀裂データを一切必要とせず、複雑で不均一な石積みモルタル表面における亀裂検出を、教師なし深層学習が効果的に実行できるか。
• RQ2 亀裂異常検出において、どの事前学習済みCNNアーキテクチャが未観測のモルタルテクスチャに最も良好に一般化するか。
• RQ3 精度とデータ効率の観点から、教師なし手法は教師あり手法と比較してどの程度の性能を示すか。
• RQ4 このフレームワークで信頼性のある亀裂検出を達成するために、必要な最小限の訓練エポック数はどれくらいか。

主な発見

• 提案手法は、大規模なアノテート済みデータセットを必要とするより複雑な教師ありモデルと同等の検出精度を達成する。
• 特定のCNNアーキテクチャ、特にResNetおよびDenseNetの変種が、テクスチャが複雑なモルタル表面における微細な亀裂検出において他のモデルを上回る。
• 本モデルは、多様なモルタル現場および実世界の画像（インターネットから収集）に対しても良好に一般化する。
• 注目ベースのサリエンシーマップを用いることで高い局所化精度が達成され、亀裂領域の正確な同定が可能になる。
• 本手法は非常に少ない訓練エポック数で動作するため、強力なデータ効率性と低コストな計算負荷を示す。
• ソースコードとデータセットはGitHubおよびZenodoで公開されており、再現性とさらなる研究を支援する。