[논문 리뷰] Vision-based Automated Bridge Component Recognition Integrated With High-level Scene Understanding

Yasutaka Narazaki, Vedhus Hoskere외 2명|arXiv (Cornell University)|2018. 05. 15.

Infrastructure Maintenance and Monitoring참고 문헌 22인용 수 20

한 줄 요약

이 논문은 다중 척도 컨볼루션 신경망(CNN)과 고수준의 장면 이해를 통합하여 도시 환경의 영상에서 브릿지 구성 요소(예: 기둥, 빔, 슬래브)를 자동으로 식별하는 시각 기반 시스템을 제안한다. 픽셀 수준의 분류와 천연 장면 분류(예: 하늘, 차량, 건물) 10개의 고수준 장면 카테고리 조합을 통해 기존의 CNN 전용 접근 방식에 비해 잘못된 양성 결과를 크게 줄이고 레이블링 일관성을 향상시켜 실제 브릿지 점검 환경에서 더 높은 정확도를 달성한다.

ABSTRACT

Image data has a great potential of helping conventional visual inspections of civil engineering structures due to the ease of data acquisition and the advantages in capturing visual information. A variety of techniques have been proposed to detect damages, such as cracks and spalling on a close-up image of a single component (columns and road surfaces etc.). However, these techniques commonly suffer from severe false-positives especially when the image includes multiple components of different structures. To reduce the false-positives and extract reliable information about the structures' conditions, detection and localization of critical structural components are important first steps preceding the damage assessment. This study aims at recognizing bridge structural and non-structural components from images of urban scenes. During the bridge component recognition, every image pixel is classified into one of the five classes (non-bridge, columns, beams and slabs, other structural, other nonstructural) by multi-scale convolutional neural networks (multi-scale CNNs). To reduce false-positives and get consistent labels, the component classifications are integrated with scene understanding by an additional classifier with 10 higher-level scene classes (building, greenery, person, pavement, signs and poles, vehicles, bridges, water, sky, and others). The bridge component recognition integrated with the scene understanding is compared with the naive approach without scene classification in terms of accuracy, false-positives and consistencies to demonstrate the effectiveness of the integrated approach.

연구 동기 및 목표

• 복잡한 도시 환경에서 겹치는 구조적 요소로 인해 발생하는 자동 브릿지 구성 요소 검출의 높은 잘못된 양성 결과를 해결하기 위해.
• 자연 이미지에서 브릿지 구성 요소를 정확하게 국소화하고 분류함으로써 구조적 상태 평가의 신뢰성을 향상시키기 위해.
• 저수준의 구성 요소 식별과 고수준의 장면 이해를 통합하여 더 맥락 인식 능력이 뛰어나고 일관성 있는 레이블링을 가능하게 하기 위해.
• 장면 맥락 정보를 구성 요소 분류에 통합함으로써 오분류를 줄이고 탐지 일관성을 향상시키는 효과를 평가하기 위해.
• 일상적인 시각 데이터를 활용한 민간 인프라 점검을 위한 강력하고 자동화된 솔루션을 제공하기 위해.

제안 방법

• 각 픽셀을 다섯 가지 브릿지 구성 요소 클래스로 분류하기 위해 다중 척도 컨볼루션 신경망(CNN)을 사용한다: 브릿지 외부, 기둥, 빔 및 슬래브, 기타 구조적 요소, 기타 비구조적 요소.
• 이미지를 10개의 고수준 장면 카테고리 중 하나로 할당하는 보조 분류기를 도입한다: 건물, 녹지, 인명, 포장, 표지판 및 기둥, 차량, 브릿지, 물, 하늘, 기타.
• 구성 요소 수준의 CNN 출력과 고수준 장면 분류기의 결과를 융합하여 픽셀 수준의 예측을 개선하고 잘못된 양성 결과를 감소시킨다.
• 최종 세그멘테이션 맵의 공간 일관성을 확보하기 위해 조건부 랜덤 필드(CRF) 또는 유사한 후처리 기법을 사용한다.
• 구성 요소 및 장면 레이블이 모두 포함된 도시 브릿지 영상 데이터셋을 사용해 모델을 훈련하고 검증한다.
• 정확도, 잘못된 양성 결과 비율, 레이블링 일관성 측면에서 장면 이해 기반 통합 접근 방식과 기준 CNN 전용 방법을 비교한다.

실험 결과

연구 질문

• RQ1 고수준의 장면 이해를 구성 요소 수준의 분류에 통합하면 도시 영상에서의 브릿지 구성 요소 식별 시 잘못된 양성 결과를 줄일 수 있는가?
• RQ2 맥락 정보를 포함한 장면 정보가 복잡한 장면에서 구성 요소 레이블링의 일관성과 신뢰성에 어떻게 기여하는가?
• RQ3 장면 맥락 정보가 실제 도시 환경에서 브릿지 구성 요소를 다중 척도 CNN이 분류하는 데 얼마나 정확도를 향상시키는가?
• RQ4 차량, 건물, 하늘 등의 다양한 장면 카테고리가 구성 요소 식별 모델의 성능에 어떤 영향을 미치는가?
• RQ5 저수준의 구성 요소 검출과 고수준의 장면 이해를 융합한 방법이 독립적인 구성 요소 분류보다 더 효과적인가?

주요 결과

• 고수준 장면 이해를 통합한 접근 방식은 기준 CNN 전용 방법에 비해 유의미하게 낮은 잘못된 양성 결과 비율을 달성했다.
• 레이블링 일관성이 장면 맥락을 분류 파이프라인에 통합함으로써 영역 간에 크게 향상되었다.
• 겹치거나 모호한 구조적 요소가 있는 장면에서 브릿지 구성 요소 분류의 총합 정확도가 높아졌다.
• '차량'과 '건물'과 같은 장면 카테고리의 포함이 비브릿지 구조물 위에 잘못된 탐지 결과를 억제하는 데 기여했다.
• 포장, 표지판 등의 비구조적 요소가 구조적 구성 요소로 잘못 분류되는 것을 효과적으로 줄였다.
• 정량적 평가 결과, 장면 이해와 구성 요소 식별의 융합이 더 강력하고 신뢰할 수 있는 자동 브릿지 점검을 가능하게 한다고 확인했다.