[논문 리뷰] Data Augmentation of Railway Images for Track Inspection

S Ritika, Dattaraj Rao|arXiv (Cornell University)|2018. 02. 05.

Infrastructure Maintenance and Monitoring참고 문헌 1인용 수 10

한 줄 요약

이 논문은 희귀 결함인 태양 끓음(sun kink)과 식생 과잉 성장(vegetation overgrowth)의 시뮬레이션 이미지를 사용하여 철도 선로 점검을 위한 데이터 증강 파이프라인을 제안한다. 시뮬레이션된 훈련 데이터로 미리 훈련된 Inception V3 모델을 미세 조정함으로써, 태양 끓음 결함을 분류하는 데 97.5%의 정밀도를 달성하였으며, 분포 이탈에도 불구하고 실제 식생 이미지로의 일반화 능력이 뛰어나다.

ABSTRACT

Regular maintenance of all the assets is pivotal for proper functioning of railway. Manual maintenance can be very cumbersome and leave room for errors. Track anomalies like vegetation overgrowth, sun kinks affect the track construct and result in unequal load transfer, imbalanced lateral forces on tracks which causes further deterioration of tracks and can ultimately result in derailment of locomotive. Hence there is a need to continuously monitor rail track health. Track anomalies are rare with the skew as high as one anomaly in millions of good images. We propose a method to build training data that will make our algorithms more robust and help us detect real world track issues. The data augmentation will have a direct effect in making us detect better anomalies and hence improve time for railroads that is spent in manual inspection. This paper talks about a real world use case of detecting railway track defects from a camera mounted on a moving locomotive and tracking their locations. The camera is engineered to withstand the environment factors on a moving train and provide a consistent steady image at around 30 frames per second. An image simulation pipeline of track detection, region of interest selection, augmenting image for anomalies is implemented. Training images are simulated for sun kink and vegetation overgrowth. Inception V3 model pretrained on Imagenet dataset is finetuned for a 2 class classification. For the case of vegetation overgrowth, the model generalizes well on actual vegetation images, though it was trained and validated solely on simulated images which might have different distribution than the actual vegetation. Sun kink classifier can classify professionally simulated sun kink videos with a precision of 97.5%.

연구 동기 및 목표

• 희귀 선로 결함으로 인한 철도 유지보수 과제를 해결하기 위해, 이미지 당 수백만 분의 일 정도의 낮은 빈도로 발생하는 이상 현상에 대응한다.
• 비용이 많이 들고 오류가 발생하기 쉬운 수작업 점검에 의존도를 줄이고, 자동화된 선로 결함 탐지 기능을 구현한다.
• 태양 끓음과 식생 과잉 성장과 같은 현실적인 선로 결함을 시뮬레이션하는 데이터 증강 파이프라인을 개발한다.
• 실제 세계의 테스트 이미지로의 일반화 능력이 뛰어난 딥러닝 모델을 시뮬레이션된 데이터로 훈련시킨다.
• 합성 데이터 생성과 전이 학습을 통해 희귀 결함에 대한 탐지 정확도를 향상시킨다.

제안 방법

• 이동 중인 기관차에 장착된 카메라 시스템이 실제 환경 조건 하에서 약 30fps의 일관성 있는 이미지를 촬영한다.
• 실제 선로 이미지에 태양 끓음 및 식생 과잉 성장 결함을 시뮬레이션하여 합성 훈련 데이터를 생성하는 이미지 시뮬레이션 파이프라인을 구현한다.
• ImageNet에서 미리 훈련된 Inception V3 모델을 사용하여, 오직 시뮬레이션된 이미지만을 활용해 이진 분류를 위한 선로 결함 분류 모델을 미세 조정한다.
• 훈련 및 추론 과정에서 관련된 선로 세그먼트에 집중하기 위해 관심 영역(ROI) 선택 기법을 적용한다.
• 모델의 일반화 능력을 향상시키기 위해 현실적인 텍스처 및 조명 변화를 포함한 증강 기법을 적용한다.
• 태양 끓음 결함의 전문가 수준의 시뮬레이션 영상과 실제 식생 이미지를 사용하여 파이프라인을 검증한다.

실험 결과

연구 질문

• RQ1 합성 데이터 증강 기법이 희귀 철도 선로 결함을 탐지하는 딥러닝 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 시뮬레이션된 데이터로 미세 조정된 모델이 실제 식생 과잉 성장 이미지로의 일반화 능력은 어느 정도인가?
• RQ3 오직 시뮬레이션된 훈련 데이터만을 사용할 경우 태양 끓음 결함 탐지에 도달할 수 있는 정밀도는 얼마인가?
• RQ4 실제 결함 빈도가 매우 낮은 상황에서 데이터 증강 기법이 모델의 강건성 향상에 기여하는가?
• RQ5 Inception V3를 사용한 전이 학습 접근법이 실제 결함 데이터가 제한된 환경에서 높은 성능을 달성할 수 있는가?

주요 결과

• 전문가가 시뮬레이션한 태양 끓음 영상 테스트에서 태양 끓음 분류기의 정밀도가 97.5%에 도달하였다.
• 오직 시뮬레이션된 식생 과잉 성장 이미지로만 훈련된 모델이 실제 세계의 식생 이미지로도 잘 일반화되어, 효과적인 데이터 증강이 이루어졌음을 시사한다.
• 실제 이상 현상의 빈도가 매우 낮음에도 불구하고, 합성 데이터의 사용이 모델의 강건성 향상에 크게 기여하였다.
• 시뮬레이션된 데이터로 Inception V3 모델을 미세 조정함으로써 희귀 결함 탐지 작업에서 뛰어난 성능을 달성하였다.
• 이미지 시뮬레이션 파이프라인이 현실적인 결함 표현을 성공적으로 생성하여 후속 분류 성능을 향상시켰다.
• 대규모 실제 결함 데이터셋에 대한 의존도를 줄여, 철도 점검 시스템의 빠른 구현을 가능하게 하였다.