[논문 리뷰] Railway Anomaly detection model using synthetic defect images generated by CycleGAN

Takuro Hoshi, Yohei Baba외 1명|arXiv (Cornell University)|2021. 02. 24.

Infrastructure Maintenance and Monitoring참고 문헌 4인용 수 7

한 줄 요약

이 논문은 실제 고장난 레일 이미지의 부족을 해결하기 위해 CycleGAN를 활용해 합성된 결함 이미지를 활용해 레일 결함 탐지 모델을 향상시킨다. 실제 결함 레일 이미지의 부족 문제를 해결하기 위해 CycleGAN로 생성한 셸링 결함 이미지를 데이터 증강하여 훈련 데이터에 추가함으로써 희귀 결함 탐지 정확도가 크게 향상되었으며, 테스트 데이터에서 AUC가 1.0에 도달하였다. 시각적 주의 맵과 t-SNE 분석을 통해 모델의 주의 집중 영역이 결함 영역으로 이동한 것으로 확인되었다.

ABSTRACT

Although training data is essential for machine learning, railway companies are facing difficulties in gathering adequate images of defective equipment due to their proactive replacement of would be defective equipment. Nevertheless, proactive replacement is indispensable for safe and undisturbed operation of public transport. In this research, we have developed a model using CycleGAN to generate artificial images of defective equipment instead of real images. By adopting these generated images as training data, we verified that these images are indistinguishable from real images and they play a vital role in enhancing the accuracy of the defect detection models.

연구 동기 및 목표

• 선제적 장비 교체로 인해 실제 레일 결함 이미지가 부족한 문제를 해결하기 위해.
• 훈련 데이터에 비해 부족한 희귀 결함 유형, 특히 셸링 결함의 탐지 정확도를 향상시키기 위해.
• 실제 이미지와 구별되지 않는 현실적인 합성 결함 이미지를 생성하기 위한 CycleGAN 기반 데이터 증강 전략을 개발하기 위해.
• 합성 데이터로의 미세조정을 통해 ResNet 기반 결함 탐지 모델의 성능을 향상시키기 위해.
• CAM 및 t-SNE와 같은 시각화 기법을 활용해 합성 데이터의 효과를 검증하고, 모델의 주의 집중 영역이 결함 영역으로 이동했는지 확인하기 위해.

제안 방법

• 실제 정상 레일 이미지에서 결함 레일 이미지로의 일대일 이미지 변환을 위해 CycleGAN을 활용하여 합성 레일 결함 이미지를 생성한다.
• 정상 레일 이미지와 실제 결함 레일 이미지를 사용해 CycleGAN 모델을 훈련시어 정상에서 결함 형태로의 스타일 전이를 학습한다.
• 실제로 탐지되지 않은 결함과 유사한 70개의 고품질 합성 셸링 결함 이미지를 1,000개의 생성된 이미지 중에서 선별한다.
• 실제 및 합성 결함 이미지를 포함한 증강된 데이터셋을 사용해 사전 훈련된 ResNet 모델을 미세조정한다.
• 데이터 증강 이전과 이후의 모델 주의 집중 영역을 시각화하기 위해 클래스 활성화 맵(CAM)을 적용한다.
• 2048차원 특징의 특징 공간 군집화를 분석하기 위해 t-SNE를 사용하여, 합성 셸링 이미지가 실제 결함 샘플과 유사하게 군집되었는지 확인한다.

실험 결과

연구 질문

• RQ1 CycleGAN은 실제 결함 이미지와 시각적으로 구별되지 않는 합성 레일 결함 이미지를 생성할 수 있는가?
• RQ2 CycleGAN로 생성한 합성 결함 이미지를 포함시킴으로써 셸링과 같은 희귀 결함 유형의 탐지 정확도가 향상되는가?
• RQ3 CAM를 통해 시각화한 결과, 합성 이미지로의 데이터 증강이 모델의 주의 메커니즘에 어떤 영향을 미치는가?
• RQ4 t-SNE 군집화를 통해 볼 때, 합성 결함 이미지가 결함 탐지 모델의 학습된 특징 공간에 효과적으로 통합되었는가?
• RQ5 제안된 방법은 궤도 결함 외의 다른 종류의 철도 장비에 일반화될 수 있는가?

주요 결과

• 인간 관찰자에게도 CycleGAN로 생성된 합성 결함 이미지가 실제 이미지와 구별되지 않아 현실성의 타당성이 입증되었다.
• 70개의 합성 셸링 결함 이미지를 추가한 후, 결함 탐지 모델은 테스트 데이터에서 AUC가 1.0에 도달하였으며, 이는 이전 AUC 0.993를 초월한 것이다.
• 클래스 활성화 맵(CAM) 분석 결과, 데이터 증강 이후 모델의 주의 집중 영역이 비결함 레일 부분에서 실제 셸링 결함 영역으로 이동한 것으로 나타났다.
• t-SNE 시각화 결과, 합성 셸링 결함 이미지가 특징 공간에서 실제 셸링 결함 이미지와 유사하게 군집되어 있음을 확인하여 효과적인 표현 학습이 이루어졌음을 입증하였다.
• 데이터 증강 이후, 셸링 결함 테스트 샘플 10개 전부를 성공적으로 탐지하였으며, 이는 이전에는 한 건을 놓친 바가 있었다.
• 이 방법은 실제 결함 데이터가 부족한 안전 핵심 시스템의 결함 탐지 성능 향상에 강력한 잠재력을 보여준다.