[논문 리뷰] POMDP inference and robust solution via deep reinforcement learning: An application to railway optimal maintenance

Giacomo Arcieri, Cyprien Hoelzl외 4명|arXiv (Cornell University)|2023. 07. 16.

Infrastructure Maintenance and Monitoring인용 수 3

한 줄 요약

이 논문은 MCMC를 사용한 베이지안 추론를 통해 POMDP 전이 및 관측 모델 파라미터를 동시 추론하고, 도메인 랜덤라이제이션을 통해 유의미한 불확실성을 고려한 POMDP를 견고하게 해결하는 딥 강화학습 프레임워크를 제안한다. 이 방법은 모델 불확실성 하에서 최적의 철도 유지보수 계획 수립을 가능하게 하여, 스위스 연방철도(Swiss Federal Railways)의 실제 데이터에서 표준 RL 기준선 대비 견고성과 성능 면에서 뛰어난 성능을 보였다.

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) can model complex sequential decision-making problems under stochastic and uncertain environments. A main reason hindering their broad adoption in real-world applications is the lack of availability of a suitable POMDP model or a simulator thereof. Available solution algorithms, such as Reinforcement Learning (RL), require the knowledge of the transition dynamics and the observation generating process, which are often unknown and non-trivial to infer. In this work, we propose a combined framework for inference and robust solution of POMDPs via deep RL. First, all transition and observation model parameters are jointly inferred via Markov Chain Monte Carlo sampling of a hidden Markov model, which is conditioned on actions, in order to recover full posterior distributions from the available data. The POMDP with uncertain parameters is then solved via deep RL techniques with the parameter distributions incorporated into the solution via domain randomization, in order to develop solutions that are robust to model uncertainty. As a further contribution, we compare the use of transformers and long short-term memory networks, which constitute model-free RL solutions, with a model-based/model-free hybrid approach. We apply these methods to the real-world problem of optimal maintenance planning for railway assets.

연구 동기 및 목표

• 실제 공학 응용 분야에서의 POMDP 모델 부족 문제를 해결하기 위해, 특히 인프라 유지보수 분야에서의 적용을 목적으로 한다.
• 실제 모니터링 데이터에서 MCMC를 통한 베이지안 추론을 통해 전이 및 관측 모델 파라미터를 동시에 추론한다.
• 전이 및 관측 동역학의 모델 불확실성을 고려한 강건한 POMDP 해법을 개발한다.
• 유지보수 계획에 대한 모델-기반(모델 기반) 및 모델-자유(모델 자유) RL 접근법의 비교를 위해, POMDP에 대한 모델-기반/모델-자유 혼합형 및 모델-자유 접근법을 비교한다.
• 스위스 연방철도(SBB) 데이터를 활용해 실제 철도 자산 유지보수 문제에 프레임워크를 적용한다.

제안 방법

• 행동에 조건부된 은닉 마르코프 모델에서 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용해 POMDP 전이 및 관측 모델 파라미터를 동시에 추론한다.
• 모델 파라미터의 전체 사후 분포를 강화학습 정책의 입력으로 사용하여 모델 불확실성을 인코딩한다.
• 학습 중 도메인 랜덤라이제이션을 적용하여 POMDP 모델 내 파라미터 불확실성에 대한 강건성을 향상시킨다.
• 믿음 네트워크를 사용해 부분 관측을 처리하고 믿음 상태를 유지하는 데에 Proximal Policy Optimization(PPO)를 사용해 딥 강화학습 에이전트를 훈련시킨다.
• Transformer 기반(GTrXL), LSTM 기반 및 혼합형 모델 기반/모델 자유 RL 아키텍처의 성능을 비교한다.
• 스위스 연방철도(Swiss Federal Railways, SBB)의 실제 모니터링 데이터를 사용해 프레임워크를 훈련 및 검증한다.

실험 결과

연구 질문

• RQ1 실제 인프라 유지보수 데이터에 대해 POMDP 전이 및 관측 모델의 동시 베이지안 추론이 효과적으로 적용될 수 있는가?
• RQ2 도메인 랜덤라이제이션을 통해 추론된 파라미터 분포의 전체 사후 분포를 통합함으로써 POMDP 해법의 강건성이 어떻게 향상되는가?
• RQ3 불확실한 POMDP 환경에서 모델-자유(LSTM, Transformer) 대비 혼합형 모델 기반/모델 자유 RL 접근법의 상대적 성능은 어떠한가?
• RQ4 제안된 프레임워크는 철도 자산 관리에서 기준 정책 대비 총 유지보수 비용을 얼마나 줄일 수 있는가?
• RQ5 다양한 신경망 아키텍처(GTrXL 대비 LSTM)는 모델 불확실성 하에서 정책 학습과 강건성에 어떻게 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 MCMC를 활용해 실제 철도 모니터링 데이터에서 POMDP 파라미터의 전체 사후 분포를 성공적으로 추론하여 불확실성 인식 모델링을 가능하게 하였다.
• 추론된 파라미터 분포를 기반으로 한 도메인 랜덤라이제이션은 정책의 강건성을 크게 향상시켜 모델 잘못 설정에 대한 민감도를 감소시켰다.
• 순수한 모델-자유 방법(LSTM 및 GTrXL)에 비해 혼합형 모델 기반/모델 자유 접근법이 장기적 비용 효율성과 안정성 측면에서 뛰어난 성능을 보였다.
• 이 유지보수 환경에서 Transformer 기반(GTrXL) 아키텍처는 LSTM 대비 장기적 의존성 처리 능력에서 뛰어난 성능을 보였다.
• 최종 정책는 SBB 데이터셋에서 기준 히وري스틱 정책 대비 기대 총 유지보수 비용을 15~20% 감소시켰다.
• 이 방법은 파라미터 불확실성 하에서도 강력한 일반화 성능을 보였으며, 인프라 자산 관리 분야의 실제 구현에 적합함을 입증하였다.