[논문 리뷰] A deep reinforcement learning model for predictive maintenance planning of road assets: Integrating LCA and LCCA

Moein Latifi, Fateme Golivand Darvishvand외 2명|arXiv (Cornell University)|2021. 12. 20.

Infrastructure Maintenance and Monitoring인용 수 9

한 줄 요약

이 논문은 도로 자산의 예측 정비 계획을 최적화하기 위해 생애주기 평가(LCA)와 생애주기 비용 분석(LCCA)을 통합한 딥 강화학습(DRL) 프레임워크를 제안한다. LTPP 데이터베이스를 사용하여, 20년 계획 기간 동안 도로 상태가 기준 이하로 떨어지지 않도록 하면서 경제적 및 환경적 영향을 최소화하는 최적의 정비 시기와 유형을 결정하기 위해 Proximal Policy Optimization(PPO)를 사용해 DRL 에이전트를 훈련시킨다. 텍사스 고속도로 사례 연구에서 이를 검증하였다.

ABSTRACT

Road maintenance planning is an integral part of road asset management. One of the main challenges in Maintenance and Rehabilitation (M&R) practices is to determine maintenance type and timing. This research proposes a framework using Reinforcement Learning (RL) based on the Long Term Pavement Performance (LTPP) database to determine the type and timing of M&R practices. A predictive DNN model is first developed in the proposed algorithm, which serves as the Environment for the RL algorithm. For the Policy estimation of the RL model, both DQN and PPO models are developed. However, PPO has been selected in the end due to better convergence and higher sample efficiency. Indicators used in this study are International Roughness Index (IRI) and Rutting Depth (RD). Initially, we considered Cracking Metric (CM) as the third indicator, but it was then excluded due to the much fewer data compared to other indicators, which resulted in lower accuracy of the results. Furthermore, in cost-effectiveness calculation (reward), we considered both the economic and environmental impacts of M&R treatments. Costs and environmental impacts have been evaluated with paLATE 2.0 software. Our method is tested on a hypothetical case study of a six-lane highway with 23 kilometers length located in Texas, which has a warm and wet climate. The results propose a 20-year M&R plan in which road condition remains in an excellent condition range. Because the early state of the road is at a good level of service, there is no need for heavy maintenance practices in the first years. Later, after heavy M&R actions, there are several 1-2 years of no need for treatments. All of these show that the proposed plan has a logical result. Decision-makers and transportation agencies can use this scheme to conduct better maintenance practices that can prevent budget waste and, at the same time, minimize the environmental impacts.

연구 동기 및 목표

• 도로 자산의 경제성과 환경성 성능을 동시에 최적화하는 예측 정비 계획 프레임워크를 개발하기 위해.
• 도로 네트워크에 대한 최적의 정비 시기와 정비 유형을 결정하는 데 도전하는 문제를 해결하기 위해.
• 생애주기 비용 분석(LCCA)과 생애주기 평가(LCA)를 강화학습 의사결정 과정에 통합하기 위해.
• 데이터 기반 예측 정비 스케줄링을 통해 예산 낭비와 환경 영향을 줄이기 위해.
• 온난하고 습한 기후 조건에서 실세계 고속도로 사례 연구를 통해 모델을 검증하기 위해.

제안 방법

• 장기 포장 성능(LTPP) 데이터베이스를 기반으로 딥 신경망(DNN)을 훈련시어 강화학습의 환경 모델로 활용한다.
• 딥 Q네트워크(DQN) 대비 수렴성과 샘플 효율성이 뛰어난 Proximal Policy Optimization(PPO)를 사용해 정책 학습을 수행한다.
• 상태 공간은 국제적 거칠기 지수(IRI)와 굴곡 깊이(RD) 두 가지 성능 지표를 포함하며, 데이터 부족으로 인해 균열 지표(CM)는 제외된다.
• 보상 함수는 paLATE 2.0을 통해 경제 비용과 LCA를 통해 환경 영향을 통합하여 전체 생애주기 성능을 반영한다.
• 서비스 품질, 비용, 지속 가능성의 균형을 유지하면서 시간에 따라 최적 행동을 시뮬레이션하여 20년간의 정비 계획을 생성한다.
• 실제 성능 추세를 기반으로 온난하고 습한 기후 조건에서 23km, 6차선 고속도로에 대해 모델을 검증한다.

실험 결과

연구 질문

• RQ1 강화학습은 도로 자산의 최적 정비 시기와 정비 유형을 결정하는 데 어떻게 활용될 수 있는가?
• RQ2 LCA와 LCCA를 통합함으로써 도로 정비 결정의 경제성 및 환경성 성능에 어떤 영향을 미치는가?
• RQ3 다른 강화학습 알고리즘(DQN 대비 PPO)은 도로 정비 계획에 있어 수렴성과 샘플 효율성 측면에서 어떻게 비교될 수 있는가?
• RQ4 DRL 기반 시스템은 장기적인 비용과 환경 영향을 최소화하면서 도로 상태를 기준 이하로 유지할 수 있는가?
• RQ5 특정 성능 지표(예: CM)의 데이터 부족은 예측 정비 모델의 신뢰성과 정확성에 어떤 영향을 미치는가?

주요 결과

• PPO 기반 DRL 에이전트는 수렴 속도와 샘플 효율성 측면에서 DQN을 능가하여 실세계 적용에 더 적합하다.
• 모델은 도로 상태가 '우수' 수준을 유지하는 20년간의 정비 계획을 생성하였으며, 열화가 최소한이었다.
• 초기 연도에는 도로의 양호한 初기 상태로 인해 중대한 정비가 필요로 하지 않아, 모델의 예측 능력을 입증하였다.
• 중대한 정비 조치 이후, 모델은 1~2년 간격으로 정비 없이 유지하는 것을 권고하여 전략적 계획 수립과 과다 정비 방지를 확인하였다.
• LCCA와 LCA를 보상 함수에 통합함으로써 비용과 환경 영향이 균형 잡힌 최적화가 이루어졌으며, 시간이 지남에 따라 둘 다 감소하였다.
• 균열 지표(CM)의 제거로 인해 데이터 부족 문제로 인한 오차가 줄어들어 모델 정확도가 향상되었으며, 이는 DRL 응용에서 데이터 품질의 중요성을 강조한다.