[논문 리뷰] Multi-agent deep reinforcement learning with centralized training and decentralized execution for transportation infrastructure management

Mohammad Saifullah, Konstantinos G. Papakonstantinou외 3명|arXiv (Cornell University)|2024. 01. 23.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 불확실성과 제약 조건 하에서 대규모 교통망의 점검 및 유지보수를 최적화하기 위해 중심화된 훈련과 분산 실행을 갖춘 딥 디센트럴라이즈드 다중 에이전트 액터-크리틱(DDMAC-CTDE) 프레임워크를 제안한다. 문제는 제약 조건이 있는 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 모델링되며, 버지니아의 96개 인프라 구성 요소에서 near-optimal이고 확장 가능한 의사결정을 가능하게 하여 기존 정책보다 비용 효율성에서 7.5–31% 향상된다.

ABSTRACT

Life-cycle management of large-scale transportation systems requires determining a sequence of inspection and maintenance decisions to minimize long-term risks and costs while dealing with multiple uncertainties and constraints that lie in high-dimensional spaces. Traditional approaches have been widely applied but often suffer from limitations related to optimality, scalability, and the ability to properly handle uncertainty. Moreover, many existing methods rely on unconstrained formulations that overlook critical operational constraints. We address these issues in this work by casting the optimization problem within the framework of constrained Partially Observable Markov Decision Processes (POMDPs), which provide a robust mathematical foundation for stochastic sequential decision-making under observation uncertainties, in the presence of risk and resource limitations. To tackle the high dimensionality of state and action spaces, we propose DDMAC-CTDE, a Deep Decentralized Multi-Agent Actor-Critic (DDMAC) reinforcement learning architecture with Centralized Training and Decentralized Execution (CTDE). To demonstrate the utility of the proposed framework, we also develop a new comprehensive benchmark environment representing an existing transportation network in Virginia, U.S., with heterogeneous pavement and bridge assets undergoing nonstationary degradation. This environment incorporates multiple practical constraints related to budget limits, performance guidelines, traffic delays, and risk considerations. On this benchmark, DDMAC-CTDE consistently outperforms standard transportation management baselines, producing better policies. Together, the proposed framework and benchmark provide (i) a scalable, constraint-aware methodology, and (ii) a realistic, rigorous testbed for comprehensive evaluation of Deep Reinforcement Learning (DRL) for transportation infrastructure management.

연구 동기 및 목표

• 고차원 상태 및 행동 공간을 가진 대규모 이질적 교통망을 관리하는 데 있어 정적, 조건 기반, 위험 기반 유지보수 정책의 한계를 해결한다.
• 부분 관찰과 동적 노후화를 수반하는 제약 조건이 있는 POMDP로 인프라 관리를 재정의하여 전통적 최적화 방법의 확장성과 최적성 문제를 해결한다.
• 실시간 제약 조건 인식 의사결정을 가능하게 하는 확장 가능한 분산 강화학습 프레임워크를 개발하여 다중 인프라 에이전트(예: 다리, 포장) 간에 적용한다.
• DRL 공식에 하드 제약 조건(예: 예산 한도)과 소프트 제약 조건(예: 안전 목표)을 통합하여 실제 제약 조건(예: FHWA 및 VDOT 기준)을 학습 과정에 통합한다.
• 버지니아의 실제 96개 구성 요소 네트워크에서의 효과를 입증하며, 초기 상태로 완전한 상태와 노후화된 상태를 모두 포함한다.

제안 방법

• 인프라 관리 문제를 제약 조건이 있는 부분 관찰 가능한 마르코프 결정 과정(POMDP)으로 설정하여 확률적 노후화, 불완전한 관찰 및 자원 제약 조건을 포괄한다.
• 중심화된 훈련과 분산 실행(CTDE)을 갖춘 새로운 딥 디센트럴라이즈드 다중 에이전트 액터-크리틱(DDMAC) 알고리즘 개발을 통해 전역 가치 함수를 사용한 공동 훈련과 국지적 상태 정보를 기반으로 한 개별 실행을 가능하게 한다.
• 포장 상태 전이를 모델링하기 위해 임계 조건 지수(CCI)와 국제 거칠기 지수(IRI)를 사용하고, 다리의 거더 성능을 활용해 노후화 역학을 표현한다.
• DRL 손실 함수에 하드 제약 조건(예: 예산 한도)과 소프트 제약 조건(예: 안전 목표)을 통합하여 FHWA 및 VDOT 기준을 준수함을 보장한다.
• 고차원 비정적 환경에서 학습 안정성을 확보하기 위해 희소 매개변수화와 경험 재생 기법을 조합하여 DDMAC-CTDE 에이전트를 훈련한다.
• 네트워크를 각 인프라 구성 요소(다리 또는 포장 유형)당 개별 에이전트로 분해하여, 국지적 관찰 기반으로 행동을 수행하면서도 중심화된 가치 함수 하에 공동으로 훈련한다.

실험 결과

연구 질문

• RQ1 중심화된 훈련과 분산 실행을 갖춘 다중 에이전트 딥 강화학습 프레임워크는 부분 관찰과 복잡한 제약 조건 하에서 대규모 이질적 교통망을 효과적으로 관리할 수 있는가?
• RQ2 제안된 DDMAC-CTDE 방법은 기존 조건 기반 유지보수(CBM) 및 기관 권고 정책에 비해 장기적 비용 및 위험 성능 측면에서 어떻게 비교되는가?
• RQ3 이 프레임워크는 예산 한도, 안전 목표, 교통 지연 비용과 같은 실제 제약 조건을 유지보수와 최적성, 확장성 손실 없이 얼마나 잘 처리할 수 있는가?
• RQ4 불확실성 하에서 학습된 정책은 다양한 인프라 유형(예: I형 다리 대비 보조 포장) 간에 점검 및 유지보수 조치를 어떻게 우선순위를 정하는가?
• RQ5 초기 네트워크 상태(완전한 상태 대비 노후화된 상태)가 DDMAC-CTDE 정책의 성능과 비용 효율성에 어떤 영향을 미치는가?

주요 결과

• 완전한 상태에서 시작할 경우 DDMAC-CTDE 프레임워크는 히우리스틱 최적화된 조건 기반 유지보수(CBM) 정책보다 전체 수명 주기 비용을 7.5% 감소시켰다.
• 동일한 완전한 상태에서 시작할 경우 DDMAC-CTDE 정책은 버지니아 교통부(VDOT)가 권고한 정책 기준보다 31% 더 저렴했다.
• 2021년 헤이먼 레이크 네트워크의 실제 조건(비완전 상태)에서 시작한 경우에도 DDMAC-CTDE 정책은 기준 정책을 초월하여, CBM 정책 대비 7.3%, VDOT 정책 대비 27% 더 비용 효율성이 높았다.
• 프레임워크는 부분 관찰 조건에서도 FHWA 및 VDOT에서 설정한 모든 성능 및 제약 조건 목표(안전, 예산, 위험 한계)를 성실히 준수하였다.
• 정책 시뮬레이션 결과, 고장 위험이 높고 유지보수 비용이 더 큰 I형 다리와 주요 포장에 대한 체계적 우선순위가 부여되었으며, 유지보수 조치는 시스템 위험을 감소시키고 위험 곡선을 급격히 하향시키는 경향을 보였다.
• 비용 분포는 다리에 크게 기울어져 있었으며, 완전한 상태 시작 케이스에서는 총 비용의 최대 79%를 차지했고, 이는 높은 유지보수 및 위험 비용을 반영한다. 주요 포장은 47개의 구성 요소로 인해 가장 큰 비용 부담을 지녔다.