[논문 리뷰] KIT MOMA: A Mobile Machines Dataset

Yusheng Xiang, Hongzhe Wang외 5명|arXiv (Cornell University)|2020. 07. 08.

Optimization and Search Problems참고 문헌 50인용 수 5

한 줄 요약

KIT MOMA는 실내외 건설 현장에서 촬영한 지상 고정 카메라를 통해 수집한 5,663장의 실세계 이미지를 포함한 대규모 공개 시각 데이터셋으로, 8종의 일반적인 이동식 건설 기계를 포함한다. 이 데이터셋을 기반으로 훈련된 YOLO v3는 전체적으로 평균 정밀도(mAP) 85%를 기록했으며, 분포 외의 인스턴스를 제외한 경우 90.7%까지 상승하여 폐쇄된 사이트 환경에서의 자율 이동식 기계 탐지에 뛰어난 성능을 보였다.

ABSTRACT

Mobile machines typically working in a closed site, have a high potential to utilize autonomous driving technology. However, vigorously thriving development and innovation are happening mostly in the area of passenger cars. In contrast, although there are also many research pieces about autonomous driving or working in mobile machines, a consensus about the SOTA solution is still not achieved. We believe that the most urgent problem that should be solved is the absence of a public and challenging visual dataset, which makes the results from different researches comparable. To address the problem, we publish the KIT MOMA dataset, including eight classes of commonly used mobile machines, which can be used as a benchmark to evaluate the SOTA algorithms to detect mobile construction machines. The view of the gathered images is outside of the mobile machines since we believe fixed cameras on the ground are more suitable if all the interesting machines are working in a closed site. Most of the images in KIT MOMA are in a real scene, whereas some of the images are from the official website of top construction machine companies. Also, we have evaluated the performance of YOLO v3 on our dataset, indicating that the SOTA computer vision algorithms already show an excellent performance for detecting the mobile machines in a specific working site. Together with the dataset, we also upload the trained weights, which can be directly used by engineers from the construction machine industry. The dataset, trained weights, and updates can be found on our Github. Moreover, the demo can be found on our Youtube.

연구 동기 및 목표

• 자율 주행 연구의 비교 가능성과 진전을 저해하는 공개적이고 고품질의 이동식 건설 기계 시각 데이터셋의 부족을 해결하기 위해.
• 실세계 건설 현장 환경에서의 객체 탐지 알고리즘 평가를 위한 표준화된 벤치마크를 만들기 위해.
• 사전 훈련된 모델과 애너테이션 데이터를 제공하여 컴퓨터 비전 기술의 건설 산업 내 구현을 지원하기 위해.
• 다양한 실제 이미지(예: 가림, 다양한 자세, 복잡한 배경)를 통해 탐지 모델의 강건성을 향상시키기 위해.

제안 방법

• 실제 건설 현장과 공식 제조사 웹사이트에서 5,663장의 이미지를 수집하여, 자율 주행 조건을 반영한 외부 지상 뷰에 중점을 두었다.
• 8개 클래스(예: 굴착기, 웨일로더, 버추퍼)에 걸쳐 총 19,977개의 객체 인스턴스를 PASCAL VOC 형식으로 애너테이션 처리하여 표준 컴퓨터 비전 파이프라인과의 호환성을 확보했다.
• YOLO v3를 이 데이터셋에 훈련시켜 최신 기술 수준의 성능을 평가하였으며, 일반 및 현장 특화 테스트 세트에서 높은 mAP 성능을 달성했다.
• 모델 실패 사례 분석 결과, 특히 앞면 버킷이 있는 굴착기나 큰 바퀴를 가진 트럭과 유사한 시각적 특징으로 인해 웨일로더에 대해 잘못 탐지되는 가짜 양성 결과가 발생했으며, 이를 보완하기 위해 잘못 분류된 샘플을 추가로 재훈련하여 정확도를 향상시켰다.
• GitHub와 YouTube에 사전 훈련된 모델 가중치와 코드를 공개하여 즉각적인 산업 적용과 재현 가능성을 확보했다.
• 향후에는 픽셀 수준의 세그멘테이션과 희귀 자세(예: 매몰 또는 극단적 자세)를 포함한 확장 계획을 수립하여 더 넓은 일반화 능력을 확보할 예정이다.

실험 결과

연구 질문

• RQ1 공개된 실세계 데이터셋이 이동식 건설 기계의 객체 탐지 연구에서 비교 가능성과 재현 가능성을 크게 향상시킬 수 있는가?
• RQ2 기존 최신 기술 수준의 객체 탐지 모델(예: YOLO v3)이 실세계 건설 환경에서 다양한 이동식 기계를 대상으로 한 전용 데이터셋에서 얼마나 잘 작동하는가?
• RQ3 현재 탐지기 모델이 이동식 기계에 적용되었을 때 주요 실패 유형은 무엇이며, 표적적 데이터 증강을 통해 이를 완화할 수 있는가?
• RQ4 훈련 중에 볼 수 없었던 분포 외의 인스턴스에서 테스트할 경우 성능이 얼마나 떨어지는가?
• RQ5 소규모 현장 특화 데이터 세트로 사전 훈련된 모델을 미세조정하면, 통제된 환경에서 수준 4 자율 주행을 위한 높은 정확도를 달성할 수 있는가?

주요 결과

• YOLO v3는 전체 KIT MOMA 데이터셋에서 평균 정밀도(mAP) 85%를 기록하여 다양한 건설 기계 클래스 간 뛰어난 일반화 능력을 입증했다.
• 분포 내 테스트 이미지(예상치 못한 이동식 기계 제외)로 제한한 경우 mAP는 90.7%까지 상승하여, 통제된 사이트에서 수준 4 자율 주행에 매우 적합한 상태임을 시사했다.
• 웨일로더 클래스는 성능 저하가 가장 크게 발생했으며(재훈련 후 AP ~0.6), 주로 앞면 버킷이 있는 굴착기나 큰 바퀴를 가진 트럭과의 유사한 시각적 특징으로 인한 가짜 양성 결과 때문이었다.
• 가짜 양성 결과는 바퀴 크기와 스푸르트 방향성 같은 특징에서 기인했으며, 이는 원래 훈련 데이터에 존재하지 않았다.
• 잘못 분류된 샘플을 추가로 재훈련함으로써 웨일로더의 AP가 크게 향상되었으며, 이는 소규모 표적 데이터 추가로 핵심 탐지 실패를 해결할 수 있음을 보여주었다.
• 이 데이터셋은 최소한의 재훈련으로도 고정밀도 탐지가 가능하게 하여, 현장 특화 데이터로 미세조정된 사전 훈련된 모델이 실전 적용 수준의 성능을 달성할 수 있음을 시사한다.