[論文レビュー] Autonomous damage assessment of structural columns using low-cost micro aerial vehicles and multi-view computer vision

Sina Tavasoli, Xiao Pan+3 more|arXiv (Cornell University)|Aug 30, 2023

Infrastructure Maintenance and Monitoring被引用数 5

ひとこと要約

本論文では、赤外線コンクリート（RC）ラーメンの損傷（コンクリート剥離や鉄筋露出など）を検査するために、マルチビュー・コンピュータビジョンを用いた、半自律的で低コストのマイクロエアロダル・ビークル（MAV）システムを提示する。独自に開発したPCBにLiDARおよび超音波センサを統合し、MAVはラーメンの周囲を自律的に航行し、複数の角度からの画像を収集し、ビジョンベースのアルゴリズムを用いて損傷を高精度に検出し局所化する。これにより、人的な方法に比べて、検査の効率性と自律性が顕著に向上する。

ABSTRACT

Structural columns are the crucial load-carrying components of buildings and bridges. Early detection of column damage is important for the assessment of the residual performance and the prevention of system-level collapse. This research proposes an innovative end-to-end micro aerial vehicles (MAVs)-based approach to automatically scan and inspect columns. First, an MAV-based automatic image collection method is proposed. The MAV is programmed to sense the structural columns and their surrounding environment. During the navigation, the MAV first detects and approaches the structural columns. Then, it starts to collect image data at multiple viewpoints around every detected column. Second, the collected images will be used to assess the damage types and damage locations. Third, the damage state of the structural column will be determined by fusing the evaluation outcomes from multiple camera views. In this study, reinforced concrete (RC) columns are selected to demonstrate the effectiveness of the approach. Experimental results indicate that the proposed MAV-based inspection approach can effectively collect images from multiple viewing angles, and accurately assess critical RC column damages. The approach improves the level of autonomy during the inspection. In addition, the evaluation outcomes are more comprehensive than the existing 2D vision methods. The concept of the proposed inspection approach can be extended to other structural columns such as bridge piers.

研究の動機と目的

• 熟練の検査者に依存する、時間のかかる人的な地震後ラーメン検査の限界を是正すること。
• 閉鎖空間内での自律的飛行を可能にすることで、熟練パイロットの必要性を低減すること。
• 単一視点の2次元解析ではなく、マルチビュー画像データを活用することで、損傷評価の正確性を向上させること。
• GPS不可の複雑な屋内環境で使用可能な、低コストで低プロファイルなMAVシステムを構築すること。
• 将来のビジョンベースの再構成を用いた完全自律的かつ3次元的に正確な構造物検査の基盤を築くこと。

提案手法

• 独自に開発したプリント回路基板（PCB）にLiDARおよび3つの超音波センサを統合し、360°の障害物検知と自律航行を可能にする。
• MAVは半自律飛行モードを採用：初期アプローチは手動飛行、ラーメンを検知すると自動飛行モードに切り替えられる。
• 自律スキャン中、ラーメンの周囲を30度間隔で画像を撮影し、障害物に当たった位置でも撮影を行う。
• ビジョンベースのラーメン局所化アルゴリズムは、画像処理を用いてリアルタイムでラーメンを検出し追跡する。
• マルチビュー損傷検出アルゴリズムは、複数の角度からのRGB画像を分析し、コンクリートの剥離や鉄筋露出を特定・局所化する。
• 複数のカメラビューからの結果を統合することで、信頼性と包括性を向上させ、損傷状態を決定する。

実験結果

リサーチクエスチョン

• RQ1 低コストで半自律的なMAVシステムは、GPS不可の屋内環境において、RCラーメンのマルチビュー画像を効果的に収集できるか？
• RQ2 マルチビュー・コンピュータビジョンは、単一視点法に比べて、剥離や鉄筋露出といった一般的なRCラーメン損傷をどれほど正確に検出し局所化できるか？
• RQ3 LiDARと超音波センサを統合することで、閉鎖空間における障害物回避と航行自律性はどの程度向上するか？
• RQ4 提案されたシステムは、構造物検査タスクにおける熟練人間パイロットの依存度をどの程度低減できるか？
• RQ5 包括的な損傷定量化のための将来的な3次元再構成と比較して、現在のマルチビュー・ビジョンベースの評価にはどのような限界があるか？

主な発見

• MAVは屋内環境において3つの損傷を呈するRCラーメンを、一貫した自律性を維持しながら複数の視点から画像を収集した。
• ビジョンベースの損傷検出システムは、すべてのテストラーメンでコンクリートの剥離および鉄筋露出を正確に同定・局所化した。
• LiDARと超音波センサの統合により、あらゆる方向で効果的な障害物検知と回避が可能になり、飛行の安全性が向上した。
• マルチビュー評価アプローチは、単一視点の2次元手法に比べ、より包括的かつ信頼性の高い損傷評価を提供した。
• システムは人的な操縦技術の必要性を顕著に低減し、自律的構造物検査への実用的ステップを示した。
• 著者らは、今後のSLAMとセンサ統合を高度にすることで、フレームワークを3次元再構成および完全自律検査に拡張可能であると確認した。