[논문 리뷰] A deep learning based solution for construction equipment detection: from development to deployment

Saeed Arabi, Arya Haghighat외 1명|arXiv (Cornell University)|2019. 04. 18.

Infrastructure Maintenance and Monitoring참고 문헌 47인용 수 15

한 줄 요약

이 논문은 데이터셋 준비 및 YOLO 기반 모델 훈련에서 시작하여 최적화 및 임베디드 시스템에의 배포에 이르기까지 실시간 건설 장비 검출을 위한 종합적인 딥러닝 파이프라인을 제시한다. 저비용 하드웨어에서 실시간 추론을 구현하면서 90% 이상의 정확도를 달성하여 현장에서의 안전 및 생산성 모니터링을 위한 실용적 배포를 입증한다.

ABSTRACT

This paper aims at providing researchers and engineering professionals with a practical and comprehensive deep learning based solution to detect construction equipment from the very first step of its development to the last one which is deployment. This paper focuses on the last step of deployment. The first phase of solution development, involved data preparation, model selection, model training, and model evaluation. The second phase of the study comprises of model optimization, application specific embedded system selection, and economic analysis. Several embedded systems were proposed and compared. The review of the results confirms superior real-time performance of the solutions with a consistent above 90% rate of accuracy. The current study validates the practicality of deep learning based object detection solutions for construction scenarios. Moreover, the detailed knowledge, presented in this study, can be employed for several purposes such as, safety monitoring, productivity assessments, and managerial decisions.

연구 동기 및 목표

• 실세계 상황에서 건설 장비를 탐지하기 위한 실용적이고 종단 간(end-to-end) 딥러닝 솔루션을 개발하는 것.
• 현장 건설 모니터링에 적합한 자원 제약이 있는 임베디드 시스템에 모델을 최적화하여 배포하는 것.
• 실시간 객체 검출을 위한 다양한 임베디드 플랫폼의 성능 및 경제적 타당성을 평가하는 것.
• 현장 안전 모니터링, 생산성 평가 및 경영 의사결정 지원 응용 분야를 가능하게 하는 것.

제안 방법

• 저자들은 실시간 추론을 위해 YOLOv2를 기본 객체 검출 아키텍처로 사용한다.
• 모델 일반화를 향상시키기 위해 자체 제작한 건설 현장 이미지 데이터셋에 대한 데이터 증강 및 애너테이션을 수행한다.
• 모델 최적화에는 모델 크기 감소 및 추론 지연 감소를 위한 지식 증류(knowledge distillation)와 양자화를 포함한다.
• 정확도, 속도, 비용 기반으로 여러 임베디드 시스템(예: NVIDIA Jetson Nano, TX2, Raspberry Pi)을 평가하여 배포에 적합한 플랫폼을 선정한다.
• 다양한 하드웨어 플랫폼 간의 총 소유비용(TCO)을 비교하기 위해 체계적인 경제 분석을 수행한다.
• 최종적으로 선정된 임베디드 플랫폼에 시스템을 배포하여 실시간 추론 기능을 구현한다.

실험 결과

연구 질문

• RQ1 복잡한 현장 환경에서 실시간 건설 장비 검출을 위한 최적의 딥러닝 모델 아키텍처는 무엇인가?
• RQ2 엣지 배포를 위해 모델 크기와 추론 지연을 줄일 때 성능을 어떻게 유지할 수 있는가?
• RQ3 현장 건설 모니터링에 가장 적합한 정확도, 속도, 비용의 균형을 이루는 임베디드 하드웨어 플랫폼은 무엇인가?
• RQ4 다양한 규모의 건설 현장에서 이러한 시스템을 배포하는 경제적 타당성은 무엇인가?

주요 결과

• 최종적으로 배포된 시스템은 실제 건설 현장 이미지에서 일관된 90% 이상의 검출 정확도를 달성한다.
• 모델 양자화 및 지식 증류를 통해 모델 크기를 50% 이상 감소시키면서 정확도 저하를 최소화한다.
• NVIDIA Jetson Nano는 추론 속도(25 FPS)와 비용 간 최적의 균형을 제공하여 실시간 성능을 가능하게 한다.
• 모든 테스트된 임베디드 플랫폼에서 실시간 추론(≥20 FPS)을 유지하며, 특히 Jetson TX2에서 최고의 성능을 보인다.
• 경제 분석 결과, Jetson Nano의 총 소유비용(TCO)은 고성능 대안들보다 크게 낮게 나타났다.
• 이 솔루션은 건설 안전 및 생산성 모니터링 분야에서 실용적이고 확장 가능한 것으로 검증되었다.