[논문 리뷰] Condition-Based Production for Stochastically Deteriorating Systems: Optimal Policies and Learning

Collin Drent, Melvin Drent외 1명|arXiv (Cornell University)|2023. 08. 15.

Reliability and Maintenance OptimizationEngineering인용 수 3

한 줄 요약

이 논문은 연속시간 마르코프 결정 과정과 베이지안 학습을 활용하여 확률적으로 악화되는 시스템에서 조건 기반 생산 및 유지보수를 위한 공동 최적화 프레임워크를 제안한다. 실시간 상태 모니터링에 기반해 생산률을 동적으로 조정한다. 통합된 운영적 생산 제어와 전략적 유지보수 계획 수립이 순차적 접근 방식에 비해 수익을 최대 21% 높이는 것으로 입증되었으며, 베이지안 학습 정책은 진정한 상태를 알고 있는 오라클 정책과 거의 동일한 성능을 보이며, 특히 번개-번개 제어 제도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Production systems deteriorate stochastically due to usage and may eventually break down, resulting in high maintenance costs at scheduled maintenance moments. This deterioration behavior is affected by the system's production rate. While producing at a higher rate generates more revenue, the system may also deteriorate faster. Production should thus be controlled dynamically to trade-off deterioration and revenue accumulation in between maintenance moments. We study systems for which the relation between production and deterioration is known and the same for each system as well as systems for which this relation differs from system to system and needs to be learned on-the-fly. The decision problem is to find the optimal production policy given planned maintenance moments (operational) and the optimal interval length between such maintenance moments (tactical). For systems with a known production-deterioration relation, we cast the operational decision problem as a continuous-time Markov decision process and prove that the optimal policy has intuitive monotonic properties. We also present sufficient conditions for the optimality of bang-bang policies and we partially characterize the structure of the optimal interval length, thereby enabling efficient joint optimization of the operational and tactical decision problem. For systems that exhibit variability in their production-deterioration relations, we propose a Bayesian procedure to learn the unknown deterioration rate under any production policy. Our extensive numerical study indicates significant profit increases of our approaches compared to the state-of-the-art.

연구 동기 및 목표

• 사용도에 따라 악화되는 생산 시스템에서 수익 창출과 시스템 악화 간의 동적 균형을 맞추는 데 도전 과제를 해결한다.
• 연속시간 마르코프 결정 과정(CT-MDP)을 사용하여 생산-악화 관계가 알려진 조건 하에서 최적의 운영적 생산 정책을 개발한다.
• 조건 기반 생산과 통합된 최적의 유지보수 간격을 결정하는 전략적 의사결정 문제를 수립하고 해결한다.
• 각 단위 간 악화 행동의 변동성이 존재하는 시스템으로 프레임워크를 확장하여, 생산-악화 관계가 알려져 있지 않고 실시간으로 학습이 필요하다.
• 모든 생산 정책 하에서 실시간으로 알려지지 않은 악화율을 추정하기 위한 베이지안 학습 절차를 제안하고 평가한다.

제안 방법

• 운영적 생산 제어 문제를 상태 공간이 시스템 상태와 다음 유지보수까지의 시간으로 정의된 연속시간 마르코프 결정 과정(CT-MDP)으로 모델링한다.
• 최적 정책이 상태와 시간에 대해 직관적인 단조성 성질을 가지며, 특히 생산을 0 또는 최대 비율로만 수행하는 번개-번개 제어(즉, 생산을 0 또는 최대 속도로만 수행)가 가능한 충분한 조건를 증명한다.
• 모든 생산 정책 하에서 실시간으로 각 시스템의 알려지지 않은 기본 악화율 λ를 추정하기 위한 베이지안 학습 절차를 개발한다. 관측된 상태 신호에 기반해 신뢰도를 갱신한다.
• 학습된 사후 분포를 활용해 생산-악화 관계가 알려지지 않거나 변동성이 있는 시스템의 생산 결정을 안내한다.
• 최적의 운영 정책과 함께 유지보수 간격 길이를 공동으로 최적화하며, 최적 정책의 구조적 성질을 활용해 효율적인 계산을 가능하게 한다.
• 탐색과 이용의 균형을 맞추기 위해 조정 가능한 학습 수평 N^opt를 갖는 휠러스틱 정책(CE 정책)을 구현한다.

Figure 1 : Illustration of monotonic behavior of the optimal condition-based production policy with base rate $\lambda=1$ (left) and base rate $\lambda=4$ (right). The color-bar indicates the optimal production rate.

실험 결과

연구 질문

• RQ1 생산-악화 관계가 알려진 시스템에서 최적의 조건 기반 생산 정책의 구조적 성질은 무엇인가?
• RQ2 확률적으로 악화되는 시스템에서 번개-번개 생산 정책이 최적일 조건은 무엇인가?
• RQ3 조건 기반 생산 결정을 통합할 경우, 계획된 유지보수 이벤트 간 최적의 간격 길이는 어떻게 결정할 수 있는가?
• RQ4 단위 간 변동성이 존재하는 시스템에서 알려지지 않은 생산-악화 관계를 실시간으로 어떻게 학습할 수 있는가?
• RQ5 제안된 베이지안 학습 정책의 성능은 진정한 악화율을 알고 있는 오라클 정책과 비교해 어떻게 되는가?

주요 결과

• 다양한 시스템 설정에서 정적 생산 정책 대비 조건 기반 생산은 평균 수익을 50% 높인다.
• 조건 기반 생산과 전략적 유지보수 계획 수립을 통합하면 최신 기술의 순차적 접근 방식 대비 수익이 21% 증가한다.
• 제안된 베이지안 학습 정책은 진정한 악화율을 알고 있는 오라클 정책과 거의 동일한 성능을 보이며, 특히 번개-번개 제어 제도에서 뛰어난 성능을 발휘한다.
• 번개-번개 제도에서, 베이지안 정책은 악화율의 단위 간 변동성에 대해 강건하며, 오라클 정책과 동일한 정책 구조를 유산으로 이어받는다.
• 최적 정책이 번개-번개가 아닐 경우, N^opt > 0인 베이지안 학습 정책은 악화율을 효과적으로 학습하고 강력한 성능을 유지한다.
• 최적의 운영 정책과 함께 최적의 유지보수 간격 길이를 부분적으로 특성화하고 효율적으로 계산할 수 있으며, 이는 공동 최적화를 가능하게 한다.

Figure 2 : Sample paths of the optimal condition-based production policy (bottom) and controlled deterioration process (top), when the base rate $\lambda$ is 1.