[논문 리뷰] Rail-5k: a Real-World Dataset for Rail Surface Defects Detection

Zihao Zhang, Shaozuo Yu외 3명|arXiv (Cornell University)|2021. 06. 28.

Railway Engineering and Dynamics인용 수 8

한 줄 요약

Rail-5k는 5,000장의 고해상도 실물 철도 표면 이미지를 포함한 실생활 데이터셋으로, 1,100장이 13종류의 결함 유형에 대해 완전히 주석 처리되어 있어, 완전 지도 및 준지도 학습 객체 검출에서의 벤치마크를 가능하게 한다. 이 데이터셋은 미세한 결함 클래스, 긴 꼬리형 클래스 분포(불균형 비율 최대 40.98), 그리고 실생활 오염을 포함한 주석이 없는 이미지를 포함하여 고유한 도전 과제를 제기하며, 현실적인 조건에서 시각 모델 평가에 강력한 벤치마크가 된다.

ABSTRACT

This paper presents the Rail-5k dataset for benchmarking the performance of visual algorithms in a real-world application scenario, namely the rail surface defects detection task. We collected over 5k high-quality images from railways across China, and annotated 1100 images with the help from railway experts to identify the most common 13 types of rail defects. The dataset can be used for two settings both with unique challenges, the first is the fully-supervised setting using the 1k+ labeled images for training, fine-grained nature and long-tailed distribution of defect classes makes it hard for visual algorithms to tackle. The second is the semi-supervised learning setting facilitated by the 4k unlabeled images, these 4k images are uncurated containing possible image corruptions and domain shift with the labeled images, which can not be easily tackle by previous semi-supervised learning methods. We believe our dataset could be a valuable benchmark for evaluating robustness and reliability of visual algorithms.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 철도 표면 결함 검출을 위한 대규모, 고품질, 실생활 데이터셋의 부족 문제를 해결하기 위해.
• 완전 지도 및 준지도 학습 설정에서 시각 알고리즘 평가를 위한 벤치마크를 제공하기 위해.
• 기존 방법을 실생활 데이터 분포, 특히 긴 꼬리형 클래스 불균형과 주석이 없는 데이터의 이미지 오염과 함께 도전하기 위해.
• 산업적 철도 유지보수 응용 분야를 위한 강력하고 신뢰할 수 있는 모델 개발을 지원하기 위해.
• 특히 균열과 같은 텍스처 유사 결함에 대한 미세한 결함 검출 및 세그멘테이션 연구를 가능하게 하기 위해.

제안 방법

• 중국 전역의 실제 철도 노선에서 5,000장의 고해상도 RGB 철도 이미지를 수집하였으며, 이 중 1,100장이 13종류의 결함 유형에 대해 인스턴스 수준에서 완전히 주석 처리됨.
• 이중 단계 벤치마크 접근 방식을 사용함: (1) 1,100장의 레이블이 있는 이미지를 사용한 완전 지도 학습 검출, (2) 추가로 4,000장의 주석이 없는 이미지를 사용한 준지도 학습 검출.
• ImageNet 사전 학습을 적용한 YOLOv5-s를 사용하고, YOLOv5 레포지토리에서 표준 하이퍼파rameter를 사용해 레이블된 데이터셋에 대해 피지컬 튜닝함.
• 검출 모델이 균열과 같은 텍스처 유사 특성을 잘 포착하지 못하는 점을 감안해, 세분화를 위해 DeepLabv3에 ResNet50 백본을 적용함.
• 준지도 학습을 위해, 완전 지도 학습 모델의 예측 결과를 기반으로 신뢰도 임계값(s_thr ∈ {0.6, 0.7, 0.8, 0.9})을 적용해 4,000장의 주석이 없는 이미지에 대해 가짜 레이블을 생성함.
• 표준 평가 지표를 사용해 모델 평가: mAP@0.5:0.95, AP@0.5, 정밀도, 재현율, 세그멘테이션에 대한 IoU.

실험 결과

연구 질문

• RQ1 최신 객체 검출 모델은 미세한, 긴 꼬리형, 희귀 결함 카테고리가 포함된 실생활 철도 결함 검출 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 레이블이 없는 이미지에 실생활 오염과 도메인 이동이 존재하는 4,000장의 주석이 없는 철도 이미지를 준지도 학습 방법이 효과적으로 활용할 수 있는가?
• RQ3 검출 모델의 성능은 균열과 같은 텍스처 유사 결함에서 어떻게 저하되는가? 그리고 이러한 클래스에 대해 세그멘테이션 기반 접근 방식이 검출보다 뛰어나게 작용하는가?
• RQ4 레이블이 없는 데이터셋 내 이미지 오염이 준지도 학습 파이프라인의 성능에 얼마나 부정적인 영향을 미치는가?
• RQ5 신뢰도 임계값 설정이 준지도 철도 결함 검출에서 가짜 레이블 품질과 최종 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• 기본 모델인 YOLOv5-s는 완전 지도 학습 설정에서 평균 정밀도(mAP@0.5:0.95) 90.6을 달성하였으며, Rail Surface(mAP 98.6) 및 Contact Band(mAP 96.3)와 같은 일반적인 결함에서 높은 성능을 보였다.
• 희귀 결함인 Spalling(mAP 58.9) 및 Grinding(mAP 24.1)의 성능은 상당히 낮았으며, 이는 긴 꼬리형 분포의 과제를 잘 보여줌.
• 균열 검출을 위한 YOLOv5의 성능은 거의 0에 가까웠음(mAP - , AP@0.5:0.95 - ), 이는 검출 모델이 텍스처 유사 결함을 인식하지 못한다는 것을 확인함.
• ResNet50 백본을 사용한 DeepLabv3는 균열 세그멘테이션에서 67.8%의 IoU를 달성하여 검출 모델보다 뚜렷이 뛰어난 성능을 보였으며, 텍스처 기반 결함에 대해 세그멘테이션의 우수성을 입증함.
• 가짜 레이블을 사용한 준지도 학습 피지컬 튜닝 결과, mAP@0.5는 s_thr=0.6일 때 63.29에서 s_thr=0.9일 때 61.55로 감소함으로써, 주석이 없는 데이터셋 내 노이즈와 오염이 성능 저하를 유발함을 시사함.
• 비록 성능 저하가 있었지만, 준지도 벤치마크는 여전히 가치가 있으며, 실생활 데이터 분포 이동과 오염 조건에서 모델의 강건성에 대한 통찰을 제공함.