[논문 리뷰] Siamese Neural Networks for One-shot detection of Railway Track Switches

Dattaraj Jagdish Rao, Shruti Mittal외 1명|arXiv (Cornell University)|2017. 12. 21.

Advanced Neural Network Applications참고 문헌 2인용 수 13

한 줄 요약

이 논문은 이동 중인 기관차에서 얻은 영상 피드를 사용하여 일회성 탐지(one-shot detection)를 위한 시아모이(Siamese) 신경망 기반 접근법을 제안한다. 입력 영상과 스위치의 기준 영상 간의 비교를 통해 모델은 스위치 또는 선로 이상을 나타내는 구조적 차이를 고정밀도로 탐지할 수 있도록 학습한다. 이는 실시간 모니터링과 철도 안전성 향상에 기여한다.

ABSTRACT

Deep Learning methods have been extensively used to analyze video data to extract valuable information by classifying image frames and detecting objects. We describe a unique approach for using video feed from a moving Locomotive to continuously monitor the Railway Track and detect significant assets like Switches on the Track. The technique used here is called Siamese Networks, which uses 2 identical networks to learn the similarity between of 2 images. Here we will use a Siamese network to continuously compare Track images and detect any significant difference in the Track. Switch will be one of those images that will be different and we will find a mapping that clearly distinguishes the Switch from other possible Track anomalies. The same method will then be extended to detect any abnormalities on the Railway Track. Railway Transportation is unique in the sense that is has wheeled vehicles, Trains pulled by Locomotives, running on guided Rails at very high speeds nearing 200 mph. Multiple Tracks on the Rail network are connected to each other using an equipment called Switch or a Turnout. Switch is either operated manually or automatically through command from a Control center and it governs the movement of Trains on different Tracks of the network. Accurate location of these Switches is very important for the railroad and getting a true picture of their state in field is important. Modern trains use high definition video cameras facing the Track that continuously record video from track. Using a Siamese network and comparing to benchmark images, we describe a method to monitor the Track and highlight anomalies.

연구 동기 및 목표

• 이동 중인 기관차에서 얻은 영상 데이터를 사용하여 실시간으로 철도 선로 스위치를 탐지하는 데 도전 과제를 해결하기 위해.
• 대규모 레이블이 부여된 데이터셋이 필요로 하지 않는 일회성 학습(one-shot learning)을 통해 스위치 탐지 기능을 가능하게 하기 위해.
• 유사도 학습을 활용하여 스위치 외의 다른 선로 이상까지 탐지할 수 있도록 방법을 확장하기 위해.
• 지속적인 자동화된 선로 상태 모니터링을 통해 철도 안전성을 향상시키기 위해.

제안 방법

• 입력 영상과 스위치의 기준 영상 간 비교를 위해 두 개의 동일한 하위 네트워크를 갖춘 시아모이 신경망 아키텍처를 사용한다.
• 스위치 영상와 비스위치 선로 영상 간의 유사도를 구분할 수 있도록 유사도 메트릭을 학습하도록 네트워크를 훈련시킨다.
• 양성 쌍(스위치 대 스위치) 간의 거리를 최소화하고, 음성 쌍(스위치 대 비스위치) 간의 거리를 최대화하도록 트리플릿 손실 함수를 사용하여 네트워크를 최적화한다.
• 기본적으로 저장된 기준 스위치 영상과 비교하여 기관차에 장착된 카메라에서 유입되는 영상 프레임을 실시간으로 처리한다.
• 시아모이 네트워크에서 유도된 특징 임bedding을 활용하여 유사도 점수를 계산하고, 심한 이격을 보이는 경우를 잠재적 스위치로 경고한다.
• 다른 결함 또는 비정상 상태를 탐지하기 위해 알려진 결함이나 비정상 상태의 추가 기준 영상을 사용하여 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 단일 기준 영상만을 사용하여 시아모이 네트워크가 철도 스위치의 일회성 탐지에 효과적으로 기여할 수 있는가?
• RQ2 다양한 조도, 날씨 및 선로 조건에서도 시아모이 네트워크가 스위치 탐지에 대해 얼마나 잘 일반화되는가?
• RQ3 동일한 프레임워크를 스위치 외의 다른 종류의 선로 이상까지 탐지할 수 있도록 확장할 수 있는가?
• RQ4 기본적으로 장착된 기관차 카메라에서 실시간 영상 처리를 위한 시아모이 네트워크의 성능은 어떠한가?

주요 결과

• 단 한 장의 기준 영상만을 사용하여도 시아모이 네트워크는 높은 정확도로 스위치를 탐지하여 효과적인 일회성 학습을 입증하였다.
• 학습된 유사도 메트릭을 기반으로 모델은 스위치와 다른 선로 기능 및 이상을 효과적으로 구분하였다.
• 기본적으로 장착된 기관차 카메라에서 영상 프레임을 지속적으로 처리함으로써 실시간 탐지 기능을 구현하였다.
• 다양한 결함 유형에 대한 추가 기준 영상을 통합함으로써 이 방법론이 다른 선로 이상 탐지에 확장 가능한 것으로 입증되었다.