[논문 리뷰] PointCrack3D: Crack Detection in Unstructured Environments using a 3D-Point-Cloud-Based Deep Neural Network

Faris Azhari, Charlotte Sennersten외 2명|arXiv (Cornell University)|2021. 11. 22.

Infrastructure Maintenance and Monitoring인용 수 6

한 줄 요약

PointCrack3D는 자연 암석 절벽과 광산터널과 같은 비정형 환경에서 균열을 탐지하기 위한 3차원 포인트 클라우드 기반 딥러닝 방법이다. 적응형 다운샘플링, 포인트 기반 DNN 분류기, 후처리 클러스터링을 활용하여 총 균열 탐지율 97%와 3cm 이상 너비의 균열에 대해 100% 탐지율을 달성했으며, 샘플 내 및 샘플 외 데이터셋 모두에서 최신 기술을 초월한다.

ABSTRACT

Surface cracks on buildings, natural walls and underground mine tunnels can indicate serious structural integrity issues that threaten the safety of the structure and people in the environment. Timely detection and monitoring of cracks are crucial to managing these risks, especially if the systems can be made highly automated through robots. Vision-based crack detection algorithms using deep neural networks have exhibited promise for structured surfaces such as walls or civil engineering tunnels, but little work has addressed highly unstructured environments such as rock cliffs and bare mining tunnels. To address this challenge, this paper presents PointCrack3D, a new 3D-point-cloud-based crack detection algorithm for unstructured surfaces. The method comprises three key components: an adaptive down-sampling method that maintains sufficient crack point density, a DNN that classifies each point as crack or non-crack, and a post-processing clustering method that groups crack points into crack instances. The method was validated experimentally on a new large natural rock dataset, comprising coloured LIDAR point clouds spanning more than 900 m^2 and 412 individual cracks. Results demonstrate a crack detection rate of 97% overall and 100% for cracks with a maximum width of more than 3 cm, significantly outperforming the state of the art. Furthermore, for cross-validation, PointCrack3D was applied to an entirely new dataset acquired in different locations and not used at all in training and shown to detect 100% of its crack instances. We also characterise the relationship between detection performance, crack width and number of points per crack, providing a foundation upon which to make decisions about both practical deployments and future research directions.

연구 동기 및 목표

• 자연 암석 표면과 빈 광산터널과 같은 매우 비정형 환경에서 신뢰할 수 있는 균열 탐지 방법의 부족을 해결하기 위해.
• 지하 광산 및 토목 인프라에서 위험한 수동 점검에 의존도를 줄이기 위한 자동화된 로봇 호환 균열 탐지 시스템을 개발하기 위해.
• 구조 건강 모니터링을 위해 균열의 위치, 너비, 길이를 정확하게 탐지할 수 있도록 하기 위해.
• 실제 자연 암석 절벽의 대규모 실세계 데이터셋을 기반으로 방법을 검증하고, 학습에 사용되지 않은 새로운 환경으로의 일반화 능력을 입증하기 위해.
• 실제 구현 시 결정을 내리는 데 도움이 되는, 탐지 성능, 균열 너비, 균열 당 포인트 수 간의 관계를 규명하기 위해.

제안 방법

• 균열 영역에서 높은 포인트 밀도를 유지하면서 전체 포인트 클라우드 크기를 줄이는 적응형 다운샘플링 기법을 적용한다.
• 기하학적 및 강도 특징을 기반으로 각 포인트를 균열 또는 비균열로 분류하는 3차원 포인트 클라우드 기반 딥 네트워크(DNN)를 활용한다.
• 분류된 균열 포인트들을 별개의 균열 인스턴스로 그룹화하기 위해 후처리 클러스터링 알고리즘을 사용하며, 파라미터 $[\Delta_r, \Delta_n] = [0.05, 300]$를 사용한다.
• 자연 암석 절벽의 색상 라이다 포인트 클라우드 대규모 데이터셋을 기반으로 DNN를 학습하며, 이는 900㎡ 이상의 면적과 412개의 개별 균열을 포함한다.
• 탐지 민감도 조정을 위한 신뢰도 임계값을 활용하여, 작은 균열을 탐지하는 것과 거짓 경고를 최소화하는 것 사이의 트레이드오프를 가능하게 한다.
• 학습에 사용되지 않은 별도의 데이터셋을 활용한 샘플 내 테스트 및 샘플 외 교차검증을 통해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 방법이 자연 암석 표면의 매우 비정형적인 3차원 포인트 클라우드에서 높은 정확도로 균열을 탐지할 수 있는가?
• RQ2 균열 너비와 균열 당 포인트 수에 따라 탐지 성능가 어떻게 변하는가?
• RQ3 학습된 모델이 재학습 없이도 다른, 새로운 환경으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 적응형 다운샘플링 기법이 균열 탐지에 핵심적인 기하학적 정보를 균일한 다운샘플링보다 얼마나 잘 유지하는가?
• RQ5 실제 구현 시, 신뢰도 임계값 조정에 따른 탐지 재현율과 정밀도 사이의 트레이드오프는 어떠한가?

주요 결과

• PointCrack3D는 캥거루 포인트 데이터셋에서 총 균열 탐지율 97%를 기록했으며, 3cm 이상 너비의 균열에 대해 100% 탐지율을 달성했다.
• 동일한 데이터셋에서 최신 기술인 MPFH 결함 탐지 방법은 3cm 이상의 균열 중 단지 47%만 탐지했으며, PointCrack3D는 이를 뛰어넘었다.
• 새로운, 학습에 사용되지 않은 코올룸 암석 절벽 데이터셋에 대해 재학습 없이도 '즉시 적용'하여 모든 균열 인스턴스를 100% 탐지했다.
• 캥거루 포인트 데이터셋 대비 코올룸 데이터셋에서 재현율과 특이도가 각각 14% 감소했으며, 주로 균열 대 비균열 포인트 비율의 차이로 인한 것임을 확인했다.
• 코올룸 데이터셋에서는 정밀도가 20% 향상되었지만, 정규화 분석 결과 기대 점수 대비 18% 성능 저하가 발생하여 도메인 이동 효과가 있음을 시사했다.
• 탐지 성능가 균열 너비와 균열 당 포인트 수에 의해 강하게 영향을 받는 것으로 나타났으며, 작은 균열과 희소한 포인트 클라우드는 더 큰 도전 과제를 제기했다.