[논문 리뷰] Autonomous damage assessment of structural columns using low-cost micro aerial vehicles and multi-view computer vision

Sina Tavasoli, Xiao Pan외 3명|arXiv (Cornell University)|2023. 08. 30.

Infrastructure Maintenance and Monitoring인용 수 5

한 줄 요약

이 논문은 손상된 철근 콘크리트(RC) 기둥의 균열 및 reinforcing 철근 노출과 같은 손상을 점검하기 위해 다중 시점 컴퓨터 비전을 사용하는 반자율적이고 저비용의 미니어처 항공기 시스템(MAV)을 제시한다. 고유의 PCB를 탑재하여 라이다와 초음파 센서를 통합한 MAV는 기둥 주변을 자율 주행하며 다양한 각도에서 영상을 촬영하고, 영상 기반 알고리즘을 적용하여 손상을 높은 정확도로 탐지하고 국소화한다. 이는 수작업 점검 방식에 비해 점검 효율성과 자율성 측면에서 크게 향상시킨다.

ABSTRACT

Structural columns are the crucial load-carrying components of buildings and bridges. Early detection of column damage is important for the assessment of the residual performance and the prevention of system-level collapse. This research proposes an innovative end-to-end micro aerial vehicles (MAVs)-based approach to automatically scan and inspect columns. First, an MAV-based automatic image collection method is proposed. The MAV is programmed to sense the structural columns and their surrounding environment. During the navigation, the MAV first detects and approaches the structural columns. Then, it starts to collect image data at multiple viewpoints around every detected column. Second, the collected images will be used to assess the damage types and damage locations. Third, the damage state of the structural column will be determined by fusing the evaluation outcomes from multiple camera views. In this study, reinforced concrete (RC) columns are selected to demonstrate the effectiveness of the approach. Experimental results indicate that the proposed MAV-based inspection approach can effectively collect images from multiple viewing angles, and accurately assess critical RC column damages. The approach improves the level of autonomy during the inspection. In addition, the evaluation outcomes are more comprehensive than the existing 2D vision methods. The concept of the proposed inspection approach can be extended to other structural columns such as bridge piers.

연구 동기 및 목표

• 수작업 기반의 시간 소모가 크고 전문가의 경험에 의존하는 지진 후 기둥 점검의 한계를 해결하기 위해.
• 제한된 실내 환경에서의 반자율 MAV 비행을 가능하게 하여 고도의 숙련된 조종사가 필요로 하는 정도를 줄이기 위해.
• 단일 시점 2차원 분석이 아닌 다중 시점 영상 데이터를 활용하여 손상 평가 정확도를 향상시키기 위해.
• 복잡한 GPS 비활성 실내 환경에서 사용 가능한 장애물 회피 기능을 갖춘 저비용, 낮은 두께의 MAV 시스템을 개발하기 위해.
• 비전 기반 복원을 통한 향후 완전 자율적이고 3차원 정확도를 갖춘 구조물 점검을 위한 기반을 마련하기 위해.

제안 방법

• 라이다와 세 개의 초음파 센서를 통합한 고유의 프린팅 회로 기판(PCB)을 사용하여 360도 장애물 탐지 및 자율 주행을 가능하게 한다.
• MAV는 반자율 비행 모드를 사용한다: 초기 접근은 수동 비행, 기둥을 감지하면 자율 주행 모드로 전환된다.
• 자율 스캔 중 기둥 주변 30도 간격으로 영상 촬영을 수행하며, 장애물에 부딪힐 경우에도 촬영한다.
• 영상 처리를 통해 실시간으로 기둥을 탐지하고 추적하는 비전 기반 기둥 국소화 알고리즘을 사용한다.
• 다중 시점 손상 탐지 알고리즘은 다양한 각도에서 촬영한 RGB 영상 분석을 통해 콘크리트 균열과 철근 노출을 식별하고 국소화한다.
• 다양한 카메라 시점의 결과를 융합하여 신뢰성과 완전성을 향상시켜 손상 상태를 결정한다.

실험 결과

연구 질문

• RQ1 저비용 반자율 MAV 시스템이 실내 GPS 비활성 환경에서 RC 기둥의 다중 시점 영상을 효과적으로 촬영할 수 있는가?
• RQ2 다중 시점 컴퓨터 비전 기반 탐지 방법이 단일 시점 방법에 비해 일반적인 RC 기둥 손상(균열 및 철근 노출)을 얼마나 정확하게 탐지하고 국소화할 수 있는가?
• RQ3 라이다와 초음파 센서를 통합함으로써 제한된 공간 내에서 장애물 회피 및 비행 자율성은 어느 정도 향상되는가?
• RQ4 제안된 시스템이 전문가 수준의 인간 조종사 의존도를 줄일 수 있는가?
• RQ5 현재의 다중 시점 비전 기반 평가의 한계는 향후 3차원 복원 기반 종합적 손상 정량화에 비해 무엇인가?

주요 결과

• MAV는 실내 환경에서 손상된 세 개의 RC 기둥을 성공적으로 주변을 둘러싸며 일관된 자율성으로 다각도 영상을 촬영했다.
• 비전 기반 손상 탐지 시스템은 세 테스트 기둥 모두에서 콘크리트 균열과 철근 노출을 정확하게 식별하고 국소화했다.
• 라이다와 초음파 센서의 통합으로 모든 방향에서 효과적인 장애물 탐지 및 회피가 가능해져 비행 안정성이 향상되었다.
• 다중 시점 평가 접근법은 단일 시점 2차원 방법에 비해 보다 종합적이고 신뢰할 수 있는 손상 평가를 제공했다.
• 시스템은 수작업 조종 기술 의존도를 크게 줄였으며, 자율적 구조물 점검으로 향한 실질적인 발걸음임을 입증했다.
• 저자들은 향후 고도화된 SLAM 및 센서 통합 기반으로 3차원 복원 및 완전 자율 점검으로의 확장 가능성을 확인했다.