[논문 리뷰] Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization

Oluwaseyi Ogunfowora, Homayoun Najjaran|arXiv (Cornell University)|2023. 07. 07.

Reliability and Maintenance Optimization인용 수 5

한 줄 요약

이 논문은 기계 유지보수 계획 및 최적화를 위한 강화학습(RL)과 딥 강화학습(DRL) 응용에 관한 종합적인 문헌 고찰을 제시한다. 시스템 유형, 유지보수 전략, 학습 접근 방식, 최적화 목표를 기반으로 기존 연구를 분류할 수 있는 분류 체계를 제안하며, 스마트 유지보수 시스템 분야의 주요 방법론, 발견 사항 및 연구 격차를 강조한다.

ABSTRACT

Systems and machines undergo various failure modes that result in machine health degradation, so maintenance actions are required to restore them back to a state where they can perform their expected functions. Since maintenance tasks are inevitable, maintenance planning is essential to ensure the smooth operations of the production system and other industries at large. Maintenance planning is a decision-making problem that aims at developing optimum maintenance policies and plans that help reduces maintenance costs, extend asset life, maximize their availability, and ultimately ensure workplace safety. Reinforcement learning is a data-driven decision-making algorithm that has been increasingly applied to develop dynamic maintenance plans while leveraging the continuous information from condition monitoring of the system and machine states. By leveraging the condition monitoring data of systems and machines with reinforcement learning, smart maintenance planners can be developed, which is a precursor to achieving a smart factory. This paper presents a literature review on the applications of reinforcement and deep reinforcement learning for maintenance planning and optimization problems. To capture the common ideas without losing touch with the uniqueness of each publication, taxonomies used to categorize the systems were developed, and reviewed publications were highlighted, classified, and summarized based on these taxonomies. Adopted methodologies, findings, and well-defined interpretations of the reviewed studies were summarized in graphical and tabular representations to maximize the utility of the work for both researchers and practitioners. This work also highlights the research gaps, key insights from the literature, and areas for future work.

연구 동기 및 목표

• 산업 시스템에서 유지보수 계획 최적화의 과제를 해결하여 비용을 감소시키고 가용성을 향상시키며 안전성을 확보하고자 한다.
• 제조 및 산업 시스템에서 유지보수 스케줄링 및 최적화를 위한 기존 강화학습 기반 접근 방식을 식별하고 분류하고자 한다.
• 미래 연구를 안내하기 위해 유지보수 시스템, 학습 방법 및 최적화 목표의 체계적인 분류 체계를 제공하고자 한다.
• RL 및 DRL을 활용한 유지보수 분야의 80개 이상의 연구에서 도출된 주요 방법론, 발견 사항 및 한계를 요약하고자 한다.
• 현재의 RL/DRL 응용에서의 연구 격차를 부각하고 스마트 유지보수 시스템 분야에서의 향후 연구 방향을 제안하고자 한다.

제안 방법

• 다차원 분류 체계를 개발하여 유지보수 시스템을 다음 기준으로 분류: (1) 시스템 유형(단일/다중 유닛), (2) 유지보수 전략(예방적/정비적), (3) 학습 접근 방식(모델 기반/모델 자유), (4) 에이전트 아키텍처(단일/다중 에이전트), (5) 최적화 목표.
• RL 및 DRL이 유지보수 계획 및 스케줄링에 응용된 학술지 및 컆퍼런스 논문 80편 이상을 수집하고 분석하였다.
• 조건 모니터링 데이터 사용 여부, 고장 진행 모델(예: 위erner 과정, Weibull 분포, 감마 분포), 그리고 예측 건강 관리(PHM) 기능을 기반으로 연구를 분류하였다.
• 각 연구를 DQN, DDQN, PPO, SAC, DDPG 및 다중 에이전트 강화학습(MARL)과 같은 핵심 RL/DRL 알고리즘에 매핑하였으며, 메타 휴리스틱 또는 휴리스틱과의 하이브리드 방법도 포함하였다.
• 도식적 및 표 형태의 표현을 사용하여 연구 간의 방법론, 목표 및 결과를 요약하여 명확성과 활용도를 향상시켰다.
• 알고리즘 선택, 문제 정의 방식, 성능 평가 지표에 대한 반복적 패턴을 분석하여 핵심 통찰과 연구 격차를 도출하였다.

실험 결과

연구 질문

• RQ1 유지보수 계획 및 최적화에 가장 널리 사용되는 강화학습 및 딥 강화학습 알고리즘은 무엇인가?
• RQ2 다양한 시스템 구성(단일 유닛 대 다중 유닛)과 유지보수 전략(예방적 대 정비적)은 RL/DRL 방법 선택에 어떤 영향을 미치는가?
• RQ3 RL 기반 유지보수 시스템에서 지배적인 최적화 목표는 무엇이며, 이는 비용, 가용성, 신뢰성 등의 산업 KPI와 어떻게 일치하는가?
• RQ4 일반화, 실시간 구현, PHM와의 통합 측면에서 현재의 RL/DRL 응용에서의 주요 한계와 연구 격차는 무엇인가?
• RQ5 모델 기반 대 모델 자유 RL 접근 방식은 산업 유지보수 응용에서 성능과 실용성 측면에서 어떻게 비교되는가?

주요 결과

• 대부분의 검토된 연구에서 DQN, DDQN, PPO, SAC, DDPG와 같은 모델 자유 딥 강화학습 알고리즘이 사용되어 데이터 기반, 엔드 투 엔드 학습 접근 방식에 대한 강한 선호도를 보였다.
• 다중 유닛 시스템에서는 다중 에이전트 RL이 점점 더 널리 사용되고 있으며, 특히 유지보수 스케줄링과 자원 할당의 공동 최적화에 유용하지만, 여전히 단일 에이전트 접근 방식이 지배적이다.
• 모델 기반 방법은 덜 일반적이지만, 알려진 고장 진행 과정(예: 위너 과정 또는 감마 과정)이 있는 경우 빠른 수렴과 샘플 효율성을 제공해 잠재력이 높다.
• 많은 연구에서 PHM 기능(예: 잔여 수명 예측)을 입력으로 가정하고 있어, 예측 기반 기술과의 통합이 효과적인 RL 기반 유지보수 계획 수립의 핵심 추진력임을 시사한다.
• 가장 흔한 최적화 목표는 비용 최소화(연구의 45%)이며, 그 다음으로 가용성 최대화(20%)이며, 수익성 또는 자원 최적화에 초점 맞춘 연구는 적다.
• growing 관심에도 불구하고, 실제 산업 데이터를 기반으로 모델을 검증한 연구는 소수에 불과하여 시뮬레이션 기반 연구와 실제 적용 간 격차가 뚜렷하다.