[論文レビュー] PointCrack3D: Crack Detection in Unstructured Environments using a 3D-Point-Cloud-Based Deep Neural Network

Faris Azhari, Charlotte Sennersten+2 more|arXiv (Cornell University)|Nov 22, 2021

Infrastructure Maintenance and Monitoring被引用数 6

ひとこと要約

PointCrack3D は、自然な岩の崖や坑道など非構造的な環境におけるひび割れを検出する、3次元点群に基づく深層学習手法である。適応的ダウンサンプリング、ポイントワイズDNN分類器、および後処理クラスタリングを用い、全体のひび割れ検出率が97%に達し、3 cmを超える幅のひび割れについては100%の検出率を達成。サンプル内およびサンプル外の両データセットにおいて、最先端の手法を上回る性能を示した。

ABSTRACT

Surface cracks on buildings, natural walls and underground mine tunnels can indicate serious structural integrity issues that threaten the safety of the structure and people in the environment. Timely detection and monitoring of cracks are crucial to managing these risks, especially if the systems can be made highly automated through robots. Vision-based crack detection algorithms using deep neural networks have exhibited promise for structured surfaces such as walls or civil engineering tunnels, but little work has addressed highly unstructured environments such as rock cliffs and bare mining tunnels. To address this challenge, this paper presents PointCrack3D, a new 3D-point-cloud-based crack detection algorithm for unstructured surfaces. The method comprises three key components: an adaptive down-sampling method that maintains sufficient crack point density, a DNN that classifies each point as crack or non-crack, and a post-processing clustering method that groups crack points into crack instances. The method was validated experimentally on a new large natural rock dataset, comprising coloured LIDAR point clouds spanning more than 900 m^2 and 412 individual cracks. Results demonstrate a crack detection rate of 97% overall and 100% for cracks with a maximum width of more than 3 cm, significantly outperforming the state of the art. Furthermore, for cross-validation, PointCrack3D was applied to an entirely new dataset acquired in different locations and not used at all in training and shown to detect 100% of its crack instances. We also characterise the relationship between detection performance, crack width and number of points per crack, providing a foundation upon which to make decisions about both practical deployments and future research directions.

研究の動機と目的

• 自然な岩表面や裸の坑道のような極めて非構造的な環境における、頑健なひび割れ検出手法の不足に対処すること。
• 地下鉱山や土木インfra構造物における危険な手動点検に依存しない、自動化されロボット対応のひび割れ検出システムを構築すること。
• 構造健全性モニタリングのため、ひび割れの位置、幅、長さといったインスタンスを正確に検出できること。
• 自然な岩の崖の大型で現実世界のデータセットを用いて手法の妥当性を検証し、未学習の外側の環境への一般化能力を示すこと。
• 実用的導入意思決定のため、検出性能、ひび割れ幅、1つのひび割れあたりの点群数との関係を同定すること。

提案手法

• ひび割れ領域での高い点群密度を保持しつつ、全体の点群サイズを削減する適応的ダウンサンプリング技術を適用する。
• 幾何学的特徴および強度特徴に基づき、各点を「ひび割れ」または「非ひび割れ」と分類する3次元点群ベースの深層ニューラルネットワーク（DNN）を採用する。
• パラメータ $[\Delta_r, \Delta_n] = [0.05, 300]$ を用いた後処理クラスタリングアルゴリズムにより、分類済みのひび割れ点群を個別のひび割れインスタンスにグループ化する。
• 412個の個別のひび割れを含み、900 m²を超える色付きLIDAR点群データセットを用いてDNNを学習する。
• 検出感度のチューニングに信頼度しきい値を活用し、小さなひび割れの検出と誤検出の最小化の間でトレードオフを可能にする。
• トレーニングに使用しない別個のデータセットを用いたサンプル内テストおよびサンプル外クロスバリデーションにより、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づく手法は、自然な岩表面からの極めて非構造的な3次元点群において、高い精度でひび割れを検出可能か？
• RQ2 検出性能はひび割れ幅および1つのひび割れあたりの点群数にどのように依存するか？
• RQ3 ある岩環境で学習したモデルが、再トレーニングなしで異なる未観測環境へ一般化できる程度はどの程度か？
• RQ4 提案手法の適応的ダウンサンプリングは、均一なダウンサンプリングと比較して、ひび割れ検出に必要な幾何的情報をどの程度保持するか？
• RQ5 実世界での導入に際して、信頼度しきい値を調整することで、検出の再現率と正確度の間でどのようなトレードオフが生じるか？

主な発見

• PointCrack3D は Kangaroo Point データセットで全体のひび割れ検出率が97%に達し、3 cmを超える幅のひび割れについては100%の検出率を達成した。
• 同データセットにおいて、最先端の MPFH 故障検出手法は3 cmを超える幅のひび割れをたった47%しか検出できなかったのに対し、PointCrack3D はそれを上回った。
• Coolum の岩の崖から得た新たな未学習データセットに、再トレーニングなしでそのまま適用したところ、PointCrack3D は100%のひび割れインスタンス検出を達成した。
• Coolum データセットでは、Kangaroo Point と比較して再現率と特異度がそれぞれ14%低下したが、主にひび割れ点と非ひび割れ点の比率の違いに起因した。
• Coolum データセットでは正確度が20%向上したが、正規化により予想されるスコア比に対して18%の性能低下が確認され、ドメインシフトの影響が示された。
• 検出性能はひび割れ幅および1つのひび割れあたりの点群数に強く依存しており、小さなひび割れや点群が疎な状態ではより検出が困難であることが判明した。