[論文レビュー] 3D vision-based structural masonry damage detection

Elmira Faraji Zonouz, Xiao Pan+2 more|arXiv (Cornell University)|Aug 31, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

本研究では、構造からモーション（SfM）を用いて3次元点群を生成し、RANSACに基づく平面セグメンテーションと凸包体積推定を経て、現代のレンガ積み構造物におけるはく離損傷の正確な検出、局所化、定量的評価を実現する3次元ビジョンベースの手法を提案する。本手法は深層学習や大規模な学習データセットを必要とせず、正確なはく離体積測定（例：0.0005 m³ またはブロック体積の2.8%）を達成する。

ABSTRACT

The detection of masonry damage is essential for preventing potentially disastrous outcomes. Manual inspection can, however, take a long time and be hazardous to human inspectors. Automation of the inspection process using novel computer vision and machine learning algorithms can be a more efficient and safe solution to prevent further deterioration of the masonry structures. Most existing 2D vision-based methods are limited to qualitative damage classification, 2D localization, and in-plane quantification. In this study, we present a 3D vision-based methodology for accurate masonry damage detection, which offers a more robust solution with a greater field of view, depth of vision, and the ability to detect failures in complex environments. First, images of the masonry specimens are collected to generate a 3D point cloud. Second, 3D point clouds processing methods are developed to evaluate the masonry damage. We demonstrate the effectiveness of our approach through experiments on structural masonry components. Our experiments showed the proposed system can effectively classify damage states and localize and quantify critical damage features. The result showed the proposed method can improve the level of autonomy during the inspection of masonry structures.

研究の動機と目的

• 現代のレンガ積み部材におけるはく離損傷を正確に検出し、定量するための堅牢で破壊的でない手法の開発。
• 照明条件に依存する2次元ビジョンベース手法の限界、特に深度情報の欠如や定量的評価の不足を克服すること。
• RGB画像から得られる3次元点群データを用いた、正確で自動化された損傷評価の実現。
• レンガ積み構造物の健全性監視において、幾何的プリミティブに基づくセグメンテーションの可能性の検証。
• 深層学習や大規模データセットを必要としない、スケーラブルでデータ効率の良いレンガ損傷検出の代替手法の提供。

提案手法

• 構造からモーション（SfM）を用いて、レンガ試料の複数枚の2次元RGB画像から3次元点群を再構築する。
• RANSACアルゴリズムを用いて点群に平面をフィッティングし、多数の点（インライヤー）と外れ値（アウトライヤー）を特定する。
• はく離領域に対応する外れ値は赤色で分離・可視化され、元の平面は黒色で表示される。
• 分離されたはく離領域に凸包アルゴリズムを適用し、損傷の3次元体積を推定する。
• 試料の既知の寸法を用いてスケーリングと検証を実施し、正確な体積定量を可能にする。
• 本手法は圧縮荷重下のコンクリートブロック試料に適用され、既知の幾何形状を用いた検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 RGB画像からの3次元点群再構築は、レンガ積み部材におけるはく離損傷の正確な検出を可能にするか？
• RQ2 RANSACに基づく平面セグメンテーションは、健全なレンガ表面からはく離領域をどれほど効果的に分離できるか？
• RQ3 凸包アルゴリズムは、3次元点群におけるはく離コンクリートの体積をどの程度正確に定量できるか？
• RQ4 本手法は、深度認識および損傷定量の観点で2次元ビジョン手法を上回る性能を示せるか？
• RQ5 本手法は、深層学習や大規模データセットを必要とせず、実世界の構造健全性監視に実用可能か？

主な発見

• 提案手法はレンガブロックにおけるはく離領域を正確に局所化し、損傷領域が3次元点群データにおいて明確に赤色でセグメンテーション・可視化された。
• 凸包アルゴリズムにより、はく離体積が0.0005 m³（500,000 mm³）と推定され、これは全ブロック体積の2.8%に相当し、正確な定量を示した。
• 深層学習モデルや膨大な学習データを必要とせず、信頼性の高いセグメンテーションと体積推定が達成された。
• 損傷なしのブロックを用いた検証により、スケーリングと測定プロセスの正確性が確認され、手法の信頼性が裏付けられた。
• 本手法により、半自動的から完全自動化された損傷評価への移行が可能となり、点検の効率性と安全性が向上した。
• 今後の研究において、壁などのより大きなレンガ積み部材への応用の可能性が強く示唆された。