[논문 리뷰] SODA: Site Object Detection dAtaset for Deep Learning in Construction

Rui Duan, Hui Deng외 3명|arXiv (Cornell University)|2022. 02. 19.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 15개 카테고리(근로자, 자재, 기계, 레이아웃 등)에 걸쳐 총 286,201개의 객체가 주석 처리된 19,846장의 건설현장 이미지를 포함한 대규모 공개 데이터셋인 SODA를 소개한다. 다양한 조건에서 수집된 데이터로, YOLOv3/v4를 활용한 평가에서 최대 mAP 81.47%를 기록하여 딥러닝 기반 건설현장 객체 검출에 대한 벤치마크를 수립한다.

ABSTRACT

Computer vision-based deep learning object detection algorithms have been developed sufficiently powerful to support the ability to recognize various objects. Although there are currently general datasets for object detection, there is still a lack of large-scale, open-source dataset for the construction industry, which limits the developments of object detection algorithms as they tend to be data-hungry. Therefore, this paper develops a new large-scale image dataset specifically collected and annotated for the construction site, called Site Object Detection dAtaset (SODA), which contains 15 kinds of object classes categorized by workers, materials, machines, and layout. Firstly, more than 20,000 images were collected from multiple construction sites in different site conditions, weather conditions, and construction phases, which covered different angles and perspectives. After careful screening and processing, 19,846 images including 286,201 objects were then obtained and annotated with labels in accordance with predefined categories. Statistical analysis shows that the developed dataset is advantageous in terms of diversity and volume. Further evaluation with two widely-adopted object detection algorithms based on deep learning (YOLO v3/ YOLO v4) also illustrates the feasibility of the dataset for typical construction scenarios, achieving a maximum mAP of 81.47%. In this manner, this research contributes a large-scale image dataset for the development of deep learning-based object detection methods in the construction industry and sets up a performance benchmark for further evaluation of corresponding algorithms in this area.

연구 동기 및 목표

• 건설현장 객체 검출에 특화된 대규모 공개 데이터셋의 부족을 보완하기 위해.
• 다양한 조건, 단계, 시점에서 실제 건설현장의 이미지를 수집하고 주석 처리하기 위해.
• 딥러닝 기반 객체 검출 알고리즘의 개발 및 평가를 지원하는 기준 데이터셋을 제공하기 위해.
• 복잡하고 다이나믹한 건설환경에서 객체 검출 모델의 성능과 일반화 능력을 향상시키기 위해.

제안 방법

• 다양한 날씨, 조도, 건설 단계에서 활동 중인 여러 건설현장에서 20,000장 이상의 이미지를 수집하였다.
• 품질과 일관성을 확보하기 위해 이미지의 선별 및 처리를 수행하여 최종적으로 19,846장의 이미지를 확보하였다.
• 근로자, 자재, 기계, 레이아웃 요소 등 15개의 사전 정의된 카테고리로 모든 객체를 주석 처리하였다.
• 객체 검출 학습 및 평가를 지원하기 위해 클래스 레이블이 부여된 바운딩 박스 주석을 활용하였다.
• 데이터셋의 사용 가능성을 검증하기 위해 최신 YOLO 기반 모델 두 종류(YOLOv3 및 YOLOv4)를 활용해 평가를 수행하였다.
• 실제 건설 환경의 다양성을 반영하는지 확인하기 위해 통계 분석을 수행하여 데이터셋의 다양성과 양을 입증하였다.

실험 결과

연구 질문

• RQ1 건설현장 이미지의 대규모이고 다양한 데이터셋이 딥러닝 기반 객체 검출 모델의 효과적 훈련을 지원할 수 있는가?
• RQ2 SODA 데이터셋을 활용한 건설 전용 객체 검출 작업에서 표준 YOLO 기반 모델의 성능이 어떻게 일반화되는가?
• RQ3 SODA에 포함된 현장 조건, 객체 카테고리, 시점의 다양성이 모델의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 SODA 데이터셋이 향후 건설현장 모니터링 분야의 알고리즘 개발 및 평가를 위한 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• SODA 데이터셋은 15개의 건설 관련 카테고리에 걸쳐 총 286,201개의 주석 처리된 객체를 포함한 19,846장의 고품질 이미지로 구성되어 있다.
• 현장 조건, 날씨, 건설 단계, 시점 각도 측면에서 강력한 다양성을 보이며, 모델의 일반화 잠재력을 향상시킨다.
• YOLOv4에서 평가한 결과 최대 평균 정밀도(mAP)가 81.47%에 도달하여, 고성능 모델 훈련에 적합함을 입증한다.
• 통계 분석을 통해 객체 카테고리 간 균형 잡힌 분포와 실제 건설 환경의 변동성을 잘 반영하는 것으로 확인되었다.
• 건설현장 객체 검출 분야에서 새로운 성능 기준을 설정하여 향후 알고리즘의 표준화된 평가를 가능하게 한다.
• SODA의 오픈소스화는 재현 가능한 연구를 촉진하고 AI 기반 건설현장 모니터링 분야의 혁신을 가속화한다.