[논문 리뷰] Material Recognition for Automated Progress Monitoring using Deep Learning Methods

Hadi Mahami, Navid Ghassemi외 8명|arXiv (Cornell University)|2020. 06. 29.

Infrastructure Maintenance and Monitoring참고 문헌 43인용 수 26

한 줄 요약

이 논문은 VGG16, ResNet, DenseNet, NASNet-Mobile와 같은 사전 훈련된 합성곱 신경망을 사용하여 건설 현장에서 정확한 자동 진행 상황 모니터링을 가능하게 하는 딥러닝 기반의 재료 인식 시스템을 제안한다. 11종의 재료 클래스에 걸쳐 1,231장의 고해상도 이미지로 구성된 공개된 데이터셋을 기반으로 훈련된 방법은 최대 97.35%의 분류 정확도를 달성하여 조명 변화와 카메라 각도에 대해 뛰어난 내구성을 보이며, 이전의 건설 모니터링을 위한 재료 인식 기술에 비해 크게 향상된 성능을 보인다.

ABSTRACT

Recent advancements in Artificial intelligence, especially deep learning, has changed many fields irreversibly by introducing state of the art methods for automation. Construction monitoring has not been an exception; as a part of construction monitoring systems, material classification and recognition have drawn the attention of deep learning and machine vision researchers. However, to create production-ready systems, there is still a long path to cover. Real-world problems such as varying illuminations and reaching acceptable accuracies need to be addressed in order to create robust systems. In this paper, we have addressed these issues and reached a state of the art performance, i.e., 97.35% accuracy rate for this task. Also, a new dataset containing 1231 images of 11 classes taken from several construction sites is gathered and publicly published to help other researchers in this field.

연구 동기 및 목표

• 자동화된 건설 재료 인식 방법을 개발하여 진행 상황 모니터링 정확도를 향상시키기 위한 강건한 딥러닝 기반의 방법 개발.
• 기존 자동 건설 모니터링 시스템에서의 낮은 정확도와 오류 전파 문제 해결.
• 조명 및 카메라 각도와 같은 다양한 환경 조건에서 최신 CNN 아키텍처의 성능 평가.
• 향후 연구를 지원하기 위해 공개 가능한 고품질의 1,231장의 건설 재료 이미지 데이터셋 제공.
• 소규모 건설 재료 분류 작업에서 과적합을 완화하기 위한 데이터 증강 기법 탐구.

제안 방법

• 실제 건설 현장에서 촬영한 고해상도 이미지 1,231장으로 구성된 커스터마이즈된 데이터셋을 기반으로 VGG16, ResNet, DenseNet, NASNet-Mobile와 같은 사전 훈련된 딥 뉴럴 네트워크를 훈련.
• 회전, 뒤집기, 밝기 조정 등의 데이터 증강 기법을 활용하여 모델의 일반화 능력을 향상시키고 과적합을 감소.
• 제한된 데이터로 성능을 향상시키기 위해 사전 훈련된 모델을 11개 클래스의 건설 재료 데이터셋에 맞춤 학습(전이 학습) 활용.
• 조명 조건을 통제한 이미지 서브셋을 사용하여 다양한 조도 조건에서의 모델 성능 평가.
• Raspberry Pi 3, iPhone 11 Pro, Huawei P30 lite, Samsung Galaxy A50와 같은 다양한 하드웨어 플랫폼에서 추론 시간과 정확도를 비교하여 실시간 배포 가능성 평가.
• 재현성 및 향후 건설 재료 인식 분야의 연구를 지원하기 위해 GitHub를 통해 데이터셋을 공개.

실험 결과

연구 질문

• RQ1 최신 딥러닝 모델은 실현 현장 이미지에서 건설 재료를 얼마나 정확하게 분류할 수 있는가?
• RQ2 VGG16, ResNet, DenseNet, NASNet-Mobile와 같은 다양한 CNN 아키텍처는 조도 및 카메라 각도 변화 상황에서 어떻게 성능을 보이는가?
• RQ3 데이터 증강 기법이 소규모 건설 재료 데이터셋에서 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?
• RQ4 기존의 자동 건설 진행 상황 모니터링 접근 방식에 비해 제안된 방법은 정확도와 추론 속도 측면에서 어떻게 비교되는가?
• RQ5 제안된 시스템은 Raspberry Pi 3와 같은 저비용 임베디드 장치에 효과적으로 배포되어 실시간 모니터링이 가능한가?

주요 결과

• VGG16 모델은 전체 데이터셋에서 97.35%의 최고 분류 정확도를 기록하여 다른 모델들을 압도적으로 앞섰다.
• 저조도 조건에서 1개 클래스당 5장의 이미지로도 ResNet 모델은 90.48%의 정확도를 달성하여 뛰어난 내구성을 보였다.
• 5장의 이미지 서브셋에서 NASNet-Mobile 모델은 89.95%의 정확도를 기록하여 제한된 데이터에서도 뛰어난 성능을 보였다.
• DenseNet 모델은 전체 데이터셋에서 96.30%의 정확도를 기록하여 최소한의 오분류로 강력한 일반화 능력을 보였다.
• 혼동 행렬 분석 결과, 대부분의 재료들이 잘 분류되었으며, 브릭(27/27), 모래(22/22) 등 대부분의 클래스에서 정확한 분류가 이루어졌다.
• 시스템은 다양한 조도 및 카메라 각도에 대해 뛰어난 내구성을 보이며, 다양한 환경 조건에서도 일관된 성능을 유지했다.