[논문 리뷰] Automated Vision-based Bridge Component Extraction Using Multiscale Convolutional Neural Networks

Yasutaka Narazaki, Vedhus Hoskere외 2명|arXiv (Cornell University)|2018. 05. 15.

Infrastructure Maintenance and Monitoring참고 문헌 19인용 수 12

한 줄 요약

이 논문은 도시 풍경 이미지에서 브리지 구성 요소를 자동으로 추출하기 위한 다중 척도 합성곱 신경망(CNN) 프레임워크를 제안한다. 이는 픽셀 단위 분류와 슈퍼픽셀 평균화 및 조건부 랜덤 필드(CRFs)를 통한 후처리를 통해 장면 분류와 구성 요소 세분화를 통합한다. 이 방법은 다섯 가지 핵심 브리지 구성 요소를 높은 정확도와 일관성으로 식별하여 지진 후 시각적 점검에서의 잘못된 경고를 크게 감소시킨다.

ABSTRACT

Image data has a great potential of helping post-earthquake visual inspections of civil engineering structures due to the ease of data acquisition and the advantages in capturing visual information. A variety of techniques have been applied to detect damages automatically from a close-up image of a structural component. However, the application of the automatic damage detection methods become increasingly difficult when the image includes multiple components from different structures. To reduce the inaccurate false positive alarms, critical structural components need to be recognized first, and the damage alarms need to be cleaned using the component recognition results. To achieve the goal, this study aims at recognizing and extracting bridge components from images of urban scenes. The bridge component recognition begins with pixel-wise classifications of an image into 10 scene classes. Then, the original image and the scene classification results are combined to classify the image pixels into five component classes. The multi-scale convolutional neural networks (multi-scale CNNs) are used to perform pixel-wise classification, and the classification results are post-processed by averaging within superpixels and smoothing by conditional random fields (CRFs). The performance of the bridge component extraction is tested in terms of accuracy and consistency.

연구 동기 및 목표

• 복잡한 도시 풍경 이미지에서 브리지 구성 요소를 정확하게 인식하고 추출함으로써 지진 후 시각적 점검에서 잘못된 손상 경고를 줄이기 위한 과제를 해결하기 위해.
• 손상 평가 이전에 중요한 구조적 구성 요소를 분리함으로써 자동 손상 탐지의 신뢰성을 향상시키기 위해.
• 도시 브리지 인프라를 위한 수준과 구성 요소 수준의 분류를 통합한 강력한 엔드 투 엔드 시각 기반 시스템을 개발하기 위해.
• 다중 척도 CNN과 CRF 기반 후처리를 사용한 이중 단계 분류 파이프라인을 통해 세분화 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 다중 척도 CNN을 사용해 입력 이미지를 10개의 장면 클래스로 픽셀 단위로 분류함으로써 다양한 수용영역에서의 맥락 정보를 확보한다.
• 원본 이미지와 장면 분류 결과를 융합하여 두 번째 다중 척도 CNN에 입력함으로써 픽셀을 다섯 가지 브리지 구성 요소 클래스로 분류한다: 거더, 지지대, 교각, 거더면, 기타.
• 공간적으로 일관된 영역을 그룹화하고 노이즈를 줄이기 위해 슈퍼픽셀 기반 평균화를 사용하여 픽셀 단위 예측을 정밀하게 조정한다.
• 조건부 랜덤 필드(CRFs)를 적용하여 세분화 경계를 더욱 부드럽게 하고 구성 요소 예측의 공간 일관성을 향상시킨다.
• 다중 척도 특징 추출과 CRF 기반 후처리를 통합하여 국소화 정확도를 향상시킨다.
• 시스템은 실제 도시 브리지 이미지에서 훈련 및 평가되었으며, 세분화 정확도 및 일관성 메트릭을 통해 성능이 측정되었다.

실험 결과

연구 질문

• RQ1 다중 척도 CNN은 복잡한 도시 브리지 풍경에서 다양한 구조적 구성 요소를 효과적으로 구분할 수 있는가?
• RQ2 장면 분류와 구성 요소 수준의 세분화를 조합함으로써 구성 요소 추출 정확도는 어떻게 향상되는가?
• RQ3 슈퍼픽셀 평균화와 CRF 기반 후처리는 세분화 노이즈를 얼마나 줄이고 경계 일관성을 향상시키는가?
• RQ4 이중 단계 분류 파이프라인은 구성 요소 인식 신뢰성 측면에서 단일 단계 접근 방식과 비교해 어떻게 다른가?
• RQ5 고도로 시각적으로 혼잡한 실제 도시 환경에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 복잡한 도시 풍경에서 다섯 가지 핵심 브리지 구성 요소를 높은 픽셀 단위 세분화 정확도로 식별하는 데 성공했다.
• 장면 분류와 구성 요소 수준의 세분화를 통합함으로써 이후 손상 탐지 파이프라인에서 잘못된 경고 알림이 크게 감소했다.
• 슈퍼픽셀 기반 평균화와 CRF 기반 후처리가 구성 요소 경계의 공간 일관성을 향상시키고 노이즈를 줄였다.
• 다중 척도 CNN 아키텍처는 다중 척도 맥락적 특징을 효과적으로 캡처하여 작은 또는 부분적으로 보이는 구성 요소의 인식을 향상시켰다.
• 이 프레임워크는 다양한 도시 브리지 환경에서 뛰어난 성능을 보이며 구성 요소 추출의 높은 일관성을 유지했다.