[논문 리뷰] Railway Track Specific Traffic Signal Selection Using Deep Learning

S Ritika, Shruti Mittal외 1명|arXiv (Cornell University)|2017. 12. 17.

Advanced Neural Network Applications참고 문헌 9인용 수 4

한 줄 요약

이 논문은 이동 중인 기관차의 전방 카메라에서 촬영한 영상에서 철도 신호를 탐지하고 추적하기 위한 딥러닝 기반 시스템을 제안한다. 특히, 궤도 탐지, 영역 관심 선택, 신호 탐지 등의 파이프라인을 통해 각 탐지된 신호를 올바른 궤도와 연관짓는다. 150km 구간에서 247개의 신호를 대상으로 94.7%의 정확도를 달성하여, 양호한 기준을 충족하는 정밀한 위치 추적을 가능하게 하며, 정상 운전 제어(Positive Train Control) 및 동적 속도 조절에 핵심적인 역할을 하는 도로 자산의 위치를 정확히 파악할 수 있다.

ABSTRACT

With the railway transportation Industry moving actively towards automation, accurate location and inventory of wayside track assets like traffic signals, crossings, switches, mileposts, etc. is of extreme importance. With the new Positive Train Control (PTC) regulation coming into effect, many railway safety rules will be tied directly to location of assets like mileposts and signals. Newer speed regulations will be enforced based on location of the Train with respect to a wayside asset. Hence it is essential for the railroads to have an accurate database of the types and locations of these assets. This paper talks about a real-world use-case of detecting railway signals from a camera mounted on a moving locomotive and tracking their locations. The camera is engineered to withstand the environment factors on a moving train and provide a consistent steady image at around 30 frames per second. Using advanced image analysis and deep learning techniques, signals are detected in these camera images and a database of their locations is created. Railway signals differ a lot from road signals in terms of shapes and rules for placement with respect to track. Due to space constraint and traffic densities in urban areas signals are not placed on the same side of the track and multiple lines can run in parallel. Hence there is need to associate signal detected with the track on which the train runs. We present a method to associate the signals to the specific track they belong to using a video feed from the front facing camera mounted on the lead locomotive. A pipeline of track detection, region of interest selection, signal detection has been implemented which gives an overall accuracy of 94.7% on a route covering 150km with 247 signals.

연구 동기 및 목표

• 정상 운전 제어(PTC) 규정을 지원하기 위해 철도 도로 자산의 정확하고 실시간 위치 및 분류가 필요한 핵심 요구사항을 해결한다.
• 유니크한 형태, 비대칭적인 궤도 배치, 다수의 평행 궤도를 가진 밀도 높은 도시 환경 등으로 인해 철도 신호 탐지에 도전하는 문제를 극복한다.
• 기차가 운행 중인 특정 궤도와 탐지된 신호를 정확히 연계하는 견고한 시스템을 개발하여, 안전 및 속도 조절에 필수적인 정밀한 위치 정보를 확보한다.
• 실제 환경 조건에서 기관차에 장착된 카메라를 통해 수집한 영상 데이터를 활용해, 신호 유형과 위치의 신뢰할 수 있는 데이터베이스를 구축한다.
• 컴퓨터 비전과 딥러닝을 활용해 도로 자산(신호, switch, 마일스톤 등)의 자동화된 인벤토리 및 모니터링을 가능하게 한다.

제안 방법

• 기차 운행 중 연속적인 영상을 촬영하기 위해 기관차의 전방에 환경에 강한 카메라를 설치하여 약 30fps의 속도로 영상 촬영을 수행한다.
• 다단계 파이프라인을 구현한다: 먼저 컴퓨터 비전 기법을 사용해 궤도 경계를 탐지하고, 각 궤도에 따라 관심 영역(ROIs)을 정의하여 신호 탐지에 활용한다.
• 합성곱 신경망(CNN)을 적용해 ROI 내에서 철도 신호를 객체 탐지하여 배경 잡음과 구분한다.
• 영상 프레임 간의 공간적 및 시간적 일관성을 활용해 탐지된 신호를 정확한 궤도에 연계하며, 궤도 기하학적 특성과 기차 운동 모델을 활용한다.
• 기타 위치 데이터(GPS 또는 OBD 등)와 신호 탐지 결과를 통합하여 각 탐지된 신호에 정확한 지리적 좌표를 할당한다.
• 실제 운행 중 수집한 실생활 영상 데이터를 사용해 150km 구간에서 247개의 신호를 대상으로 모델을 훈련 및 검증한다.

실험 결과

연구 질문

• RQ1 기차가 이동 중인 실시간 영상에서 다양한 조명 및 기상 조건에서도 딥러닝 기반으로 철도 신호를 얼마나 정확하게 탐지할 수 있는가?
• RQ2 다수의 평행 궤도가 존재하고 신호가 반대편에 배치된 경우, 탐지된 신호를 정확한 궤도에 연계하는 데에 얼마나 효과적인가?
• RQ3 기존의 궤도 지도나 GPS 기반 위치 정보에 의존하지 않고도 컴퓨터 비전 파이프라인이 높은 정확도로 신호 탐지 및 궤도 연계를 달성할 수 있는가?
• RQ4 고밀도의 도시 철도 환경에서 신호 밀도가 높고 복잡한 궤도 레이아웃이 존재할 경우, 시스템의 성능은 어떠한가?
• RQ5 이 방법이 정상 운전 제어(PTC) 규정 준수 및 자동화된 도로 자산 인벤토리에 얼마나 기여할 수 있는가?

주요 결과

• 제안된 시스템은 150km 테스트 구간에서 247개의 철도 신호를 대상으로 총 탐지 및 연계 정확도 94.7%를 달성했다.
• 궤도 탐지와 ROI 기반 신호 탐지의 통합은 전체 화면 객체 탐지에 비해 위치 정확도를 크게 향상시켰다.
• 신호가 궤도의 반대편이나 인접한 평행선에 배치된 복잡한 레이아웃에서도 시스템은 정상적으로 탐지된 신호를 정확한 궤도에 연계하는 데 성공했다.
• 영상 기반의 시간적 일관성 활용이 신호 추적 성능을 향상시키고, 특히 고속도로나 혼잡한 환경에서의 잡음 감소에 기여했다.
• 다양한 조명, 기상 조건, 기차 운동 조건에서도 시스템은 실생활 환경에서의 안정성을 입증하여 철도 자산 관리에 실용적인 가능성을 보였다.
• 결과적으로 딥러닝을 활용한 자동화된 대규모 철도 도로 자산 인벤토리의 실현 가능성을 뒷받침하며, PTC 준수 및 동적 속도 제어 규정 이행에 직접적인 기여가 가능하다.