[논문 리뷰] 3D vision-based structural masonry damage detection

Elmira Faraji Zonouz, Xiao Pan외 2명|arXiv (Cornell University)|2023. 08. 31.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

이 연구는 구조물에서 움직임을 이용한 3차원 시각 기반 방법을 제안하여 현대 석조 구조물의 균열 손상의 정확한 검출, 국소화 및 정량화를 수행한다. 이는 3차원 점군을 생성하기 위해 구조물에서 움직임(SfM)을 사용하고, 이후 RANSAC 기반 평면 분할 및 볼록 Hull 부피 추정을 수행한다. 이 방법은 딥 러닝이나 대규모 학습 데이터셋이 필요 없이도 정밀한 균열 부피 측정을 가능하게 한다 (예: 0.0005 m³ 또는 블록 부피의 2.8%).

ABSTRACT

The detection of masonry damage is essential for preventing potentially disastrous outcomes. Manual inspection can, however, take a long time and be hazardous to human inspectors. Automation of the inspection process using novel computer vision and machine learning algorithms can be a more efficient and safe solution to prevent further deterioration of the masonry structures. Most existing 2D vision-based methods are limited to qualitative damage classification, 2D localization, and in-plane quantification. In this study, we present a 3D vision-based methodology for accurate masonry damage detection, which offers a more robust solution with a greater field of view, depth of vision, and the ability to detect failures in complex environments. First, images of the masonry specimens are collected to generate a 3D point cloud. Second, 3D point clouds processing methods are developed to evaluate the masonry damage. We demonstrate the effectiveness of our approach through experiments on structural masonry components. Our experiments showed the proposed system can effectively classify damage states and localize and quantify critical damage features. The result showed the proposed method can improve the level of autonomy during the inspection of masonry structures.

연구 동기 및 목표

• 현대 석조 부재에서 균열 손상을 검출하고 정량화하기 위한 강력하고 비파괴적인 방법을 개발하기 위해.
• 조명 의존성과 깊이 정보 부족 등의 2차원 시각 기반 방법의 한계를 극복하기 위해.
• RGB 이미지에서 유도된 3차원 점군 데이터를 이용해 정확하고 자동화된 손상 평가를 가능하게 하기 위해.
• 석조의 구조적 건강 모니터링에 기하학적 원소 기반 분할 기법의 가능성을 입증하기 위해.
• 딥 러닝이나 대규모 데이터셋이 필요 없는 석조 손상 검출을 위한 확장 가능하고 데이터 효율적인 대안을 제공하기 위해.

제안 방법

• 구조물에서 움직임(SfM)을 사용하여 석조 시편의 다수의 2차원 RGB 이미지로부터 3차원 점군을 재구성한다.
• RANSAC 알고리즘은 점군에 대부분의 점들에 평면을 피팅하고, 내부점과 외부점들을 식별함으로써 점군을 분할한다.
• 균열 영역에 해당하는 외부점들은 빨간색으로 분리되고 시각화되며, 원래의 평면은 검은색으로 표시된다.
• 분할된 균열 영역에 대해 볼록 Hull 알고리즘을 적용하여 손상의 3차원 부피를 추정한다.
• 시험체의 알려진 치수를 사용하여 스케일링 및 검증을 수행함으로써 정확한 부피 정량화가 가능하다.
• 이 방법은 압축 하중를 받는 콘크리트 블록 시편에 적용되었으며, 알려진 기하학적 형태에서 결과가 검증되었다.

실험 결과

연구 질문

• RQ1 RGB 이미지에서 유도된 3차원 점군 재구성은 석조 부재의 균열 손상을 정확하게 검출할 수 있는가?
• RQ2 RANSAC 기반 평면 분할은 건 intact한 석조 표면에서 균열 영역을 얼마나 효과적으로 분리할 수 있는가?
• RQ3 볼록 Hull 알고리즘은 3차원 점군에서 균열 콘크리트의 부피를 어느 정도 정량화할 수 있는가?
• RQ4 이 기하학적 접근 방식은 깊이 인식과 손상 정량화 측면에서 2차원 시각 방법보다 뛰어난가?
• RQ5 이 방법은 딥 러닝이나 대규모 데이터셋이 필요 없이 실제 구조적 건강 모니터링에 적용 가능한가?

주요 결과

• 제안된 방법은 석조 블록의 균열 영역을 성공적으로 국소화하였으며, 손상 영역이 3차원 점군 데이터에서 빨간색으로 명확히 분할되고 시각화되었다.
• 볼록 Hull 알고리즘이 균열 부피를 0.0005 m³ (500,000 mm³)로 추정하였으며, 이는 총 블록 부피의 2.8%에 해당하여 정확한 정량화를 입증하였다.
• 딥 러닝 모델이나 광범위한 학습 데이터 없이도 신뢰할 수 있는 분할 및 부피 추정이 가능했다.
• 손상이 없는 블록에서의 검증을 통해 스케일링 및 측정 과정의 정확성이 확인되어 방법의 신뢰성을 뒷받침하였다.
• 이 방법은 반자동에서 완전 자동 손상 평가로의 전환을 가능하게 하여 점검 효율성과 안전성을 향상시켰다.
• 향후 연구에서 벽과 같은 더 큰 석조 요소에 응용할 가능성이 높은 것으로 나타났다.