[논문 리뷰] Smart Train Operation Algorithms based on Expert Knowledge and Reinforcement Learning

Kaichen Zhou, Shiji Song외 3명|arXiv (Cornell University)|2020. 03. 06.

Railway Systems and Energy Efficiency참고 문헌 37인용 수 4

한 줄 요약

이 논문은 지능형 기차 운행 알고리즘 두 가지—STOD(딥 디터미니스틱 포리시 그레디언트 기반)와 STON(노멀라이즈드 애드밴티지 함수 기반)—을 제안하며, 강화학습과 전문가 운전 지식을 융합하여 지하철 시스템에서 에너지 효율성, 정시성, 승객의 편안함을 최적화한다. 이 알고리즘들은 수동 운전과 기존 ATO 시스템을 뛰어넘는 뛰어난 성능을 보이며, 다양한 운행 시간과 저항 조건에서도 유연성과 강건성을 입증했으며, 실제 베이징 이즈청선 데이터를 사용한 시뮬레이션에서 STON이 약간 더 뛰어난 종합 성능을 보였다.

ABSTRACT

During recent decades, the automatic train operation (ATO) system has been gradually adopted in many subway systems for its low-cost and intelligence. This paper proposes two smart train operation algorithms by integrating the expert knowledge with reinforcement learning algorithms. Compared with previous works, the proposed algorithms can realize the control of continuous action for the subway system and optimize multiple critical objectives without using an offline speed profile. Firstly, through learning historical data of experienced subway drivers, we extract the expert knowledge rules and build inference methods to guarantee the riding comfort, the punctuality, and the safety of the subway system. Then we develop two algorithms for optimizing the energy efficiency of train operation. One is the smart train operation (STO) algorithm based on deep deterministic policy gradient named (STOD) and the other is the smart train operation algorithm based on normalized advantage function (STON). Finally, we verify the performance of proposed algorithms via some numerical simulations with the real field data from the Yizhuang Line of the Beijing Subway and illustrate that the developed smart train operation algorithm are better than expert manual driving and existing ATO algorithms in terms of energy efficiency. Moreover, STOD and STON can adapt to different trip times and different resistance conditions.

연구 동기 및 목표

• 지하철 시스템에서 에너지 효율성, 정시성, 승객의 편안함을 최적화하는 지능형 기차 운행 알고리즘을 개발한다.
• 기존 ATO 시스템의 한계를 해결하기 위해 사전에 계산된 오프라인 속도 프로파일에 의존하지 않고 연속적인 액션 제어를 가능하게 한다.
• 경험이 풍부한 기사의 전문 지식을 강화학습 프레임워크에 통합하여 안정성과 실제 적용 가능성 향상을 도모한다.
• 다양한 운행 시간과 동적 저항 조건 하에서 제안된 알고리즘의 유연성과 강건성을 평가한다.
• 모델리스 강화학습에 전문가 추론을 융합한 것이 수동 운전과 전통적인 ATO 방법을 능가할 수 있음을 입증한다.

제안 방법

• 경험이 풍부한 지하철 기사의 역사적 운전 데이터에서 전문 지식 규칙을 추출하여 편안함, 안전성, 정시성 요소를 모델링한다.
• 기사의 전문 지식을 강화학습 정책 네트워크에 통합하기 위한 지식 기반 추론 메커니즘을 개발한다.
• 에너지 효율적인 기차 운행을 위한 연속적 액션 제어를 위해 딥 디터미니스틱 포리시 그레디언트(DDPG)를 사용한 STOD를 제안한다.
• 연속 제어에서 샘플 효율성과 정책 안정성을 향상시키기 위해 노멀라이즈드 애드밴티지 함수(NAF)를 사용한 STON을 제안한다.
• 안전성과 편안함 제약 조건을 학습 중에 만족시키기 위해 전문 지식 규칙을 보상 함수와 정책 네트워크에 통합한다.
• 여러 운영 시나리오 하에서 베이징 지하철 이즈청선의 실제 현장 데이터를 사용해 알고리즘을 학습 및 검증한다.

실험 결과

연구 질문

• RQ1 전문 지식을 통합한 강화학습 알고리즘이 수동 운전과 기존 ATO 시스템보다 더 뛰어난 에너지 효율성을 달성할 수 있는가?
• RQ2 STOD와 STON은 다양한 운행 시간 조건에서 편안함, 정시성, 안전성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 기후나 노후화된 인프라로 인한 저항 변화에 대해 제안된 알고리즘이 얼마나 잘 적응할 수 있는가?
• RQ4 전문 지식 통합이 기차 운행의 연속 제어 과제에서 딥 강화학습의 안정성과 수렴성에 어떻게 기여하는가?
• RQ5 STOD와 STON 중 어느 알고리즘이 다양한 운영 조건에서 더 뛰어난 성능과 강건성을 보여주는가?

주요 결과

• STOD와 STON은 전문가 수동 운전 대비 에너지 효율성에서 뚜렷한 우월성을 보였으며, 모든 시험 케이스에서 STON이 가장 낮은 에너지 소비를 기록했다.
• 모든 테스트 조건에서 두 알고리즘이 정시성과 안전성을 유지했으며, 시간 오차는 허용 가능한 3초 이내였다.
• STON은 STOD보다 종합적으로 뛰어난 성능를 보였으며, 특히 에너지 효율성과 편안함 측면에서 뛰어났다. 한 경우에서는 2초 더 긴 운행 시간이 있었음에도 불구하고.
• 기울기 조건 변화 상황에서도 강력한 강건성을 보였으며, 환경적 또는 인프라 변화로 인한 저항 변화 상황에서도 안정된 성능을 유지했다.
• 전문 지식 통합으로 정책의 안정성이 향상되었고, 위험한 동작의 위험도 감소하여 실제 환경에서의 신뢰성 있는 구현이 가능했다.
• 제안된 모델들은 다양한 운행 시간에 대응하는 데 있어 뛰어난 유연성을 보였으며, STOD와 STON은 다양한 계획 기간 동안 합리적인 제어 전략을 생성했다.