[논문 리뷰] Deep reinforcement learning driven inspection and maintenance planning under incomplete information and constraints

Charalampos Andriotis, Konstantinos G. Papakonstantinou|arXiv (Cornell University)|2020. 07. 02.

Reliability and Maintenance Optimization참고 문헌 71인용 수 9

한 줄 요약

이 논문은 불완전한 정보와 자원 제약 조건 하에서 점검 및 유지보수 계획을 최적화하기 위해 제약 조건이 부여된 부분 관측 마르코프 결정 과정(POMDP)과 통합된 다중 에이전트 딥 강화학습 프레임워크를 제안한다. 베이지안 추론, 상태 증강, 라그랑주 승수 방법을 결합하여 차원의 저주와 이력 문제를 효과적으로 완화하고 수명 주기 위험 및 예산 제약 조건을 준수하며, 복잡하고 불확실한 환경에서 기존 기준 모델들을 능가하는 성능을 발휘한다.

ABSTRACT

Determination of inspection and maintenance policies for minimizing long-term risks and costs in deteriorating engineering environments constitutes a complex optimization problem. Major computational challenges include the (i) curse of dimensionality, due to exponential scaling of state/action set cardinalities with the number of components; (ii) curse of history, related to exponentially growing decision-trees with the number of decision-steps; (iii) presence of state uncertainties, induced by inherent environment stochasticity and variability of inspection/monitoring measurements; (iv) presence of constraints, pertaining to stochastic long-term limitations, due to resource scarcity and other infeasible/undesirable system responses. In this work, these challenges are addressed within a joint framework of constrained Partially Observable Markov Decision Processes (POMDP) and multi-agent Deep Reinforcement Learning (DRL). POMDPs optimally tackle (ii)-(iii), combining stochastic dynamic programming with Bayesian inference principles. Multi-agent DRL addresses (i), through deep function parametrizations and decentralized control assumptions. Challenge (iv) is herein handled through proper state augmentation and Lagrangian relaxation, with emphasis on life-cycle risk-based constraints and budget limitations. The underlying algorithmic steps are provided, and the proposed framework is found to outperform well-established policy baselines and facilitate adept prescription of inspection and intervention actions, in cases where decisions must be made in the most resource- and risk-aware manner.

연구 동기 및 목표

• 불완전한 정보와 제약 조건 하에서 악화되는 공학 시스템의 장기적 점검 및 유지보수 정책 최적화 문제를 해결하기 위해.
• 딥 함수 근사와 분산형 다중 에이전트 학습을 활용하여 대규모 의사결정에서의 차원의 저주와 이력 문제를 극복하기 위해.
• POMDP 프레임워크 내에서 베이지안 추론을 통해 불확실한 환경과 노이즈가 있는 모니터링 데이터로 인한 상태 불확실성을 모델링하고 완화하기 위해.
• 예산 제한과 위험 기준과 같은 실용적 제약 조건을 상태 증강과 라그랑주 승수 방법을 통해 강화학습 프레임워크에 통합하기 위해.
• 복잡하고 정보가 불완전한 환경에서 전통적 정책 기준 모델을 능가하는 확장 가능하고 위험 인식 능력을 갖춘 의사결정 시스템을 개발하기 위해.

제안 방법

• 틀은 부분 관측 하에서의 순차적 의사결정을 모델링하기 위해 제약 조건이 부여된 POMDP를 사용하며, 믿음 상태 갱신을 위해 베이지안 추론을 통합한다.
• 가치 함수와 정책을 근사하기 위해 다중 에이전트 딥 강화학습을 활용하여 딥 함수 매개변수화를 통해 계산 복잡도를 감소시킨다.
• 예산과 위험 기준과 같은 제약 조건을 상태 공간에 직접 통합하기 위해 상태 증강을 적용하여 제약 조건 인식 학습을 가능하게 한다.
• 강한 제약 조건을 완화하기 위해 라그랑주 승수 방법을 활용하여 이를 보상 함수 내의 페널티 항으로 전환함으로써 안정적인 훈련을 가능하게 한다.
• 스토케스틱 동적 프로그래밍과 딥 신경망을 통합하여 고차원이고 불확실한 환경에서 탐색과 이용의 균형을 맞춘다.
• 엔드 투 엔드 훈련을 통해 점검 및 유지보수 조치의 공동 최적화를 달성하여 장기적 비용과 위험을 최소화한다.

실험 결과

연구 질문

• RQ1 딥 강화학습을 어떻게 POMDP와 효과적으로 융합하여 대규모 유지보수 계획에서의 차원의 저주와 이력 문제를 해결할 수 있는가?
• RQ2 노이즈가 있는 측정값과 확률적 동역학으로 인한 상태 불확실성은 유지보수 의사결정에서 어떻게 모델링되고 완화될 수 있는가?
• RQ3 최적성의 손실 없이 예산 제한과 위험 기준과 같은 자원 제약 조건을 강화학습 프레임워크에 어떻게 통합할 수 있는가?
• RQ4 제안된 방법은 비용, 위험, 제약 조건 이행 측면에서 기존 정책 기준 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 이 프레임워크는 정보가 불완전하고 상호작용하는 구성 요소가 다수 존재하는 복잡한 실제 공학 시스템에 확장 가능한가?

주요 결과

• 제안된 프레임워크는 딥 함수 근사와 다중 에이전트 학습을 활용하여 차원의 저주와 이력 문제를 효과적으로 완화하였다.
• POMDP와 베이지안 추론의 통합은 부분 관측과 측정 노이즈가 존재하는 상황에서도 정확한 믿음 상태 추정을 가능하게 하였다.
• 상태 증강과 라그랑주 승수 방법은 수명 주기 위험과 예산 제약 조건을 효과적으로 준수하여 실현 가능하고 안전한 시스템 운영을 보장하였다.
• 다양한 시험 시나리오에서 장기적 비용과 위험을 최소화하는 데 있어 기존에 널리 사용되는 정책 기준 모델을 능가하는 성능을 발휘하였다.
• 심각한 정보 제약 조건 하에서도 프레임워크는 점검 및 유지보수 조치에 대해 뛰어난 위험 인식 능력을 발휘하였다.
• 실험 결과는 기존의 접근 방식에 비해 더 뛰어난 강건성과 확장 가능성을 입증하였다.