[논문 리뷰] Maintenance of a collection of machines under partial observability: Indexability and computation of Whittle index

Nima Akbarzadeh, Aditya Mahajan|arXiv (Cornell University)|2021. 04. 01.

Advanced Bandit Algorithms Research참고 문헌 51인용 수 2

한 줄 요약

이 논문은 부분 관측 가능한 기계 집합의 유지보수 스케줄링을 위한 윌틀 인덱스 정책을 제안하며, 문제를 무 restless 다수의 손잡이 띠( restless multi-armed bandit)로 모델링한다. 두 관측 모델—완전한 관측 불가 및 방문 시에만 관측 가능한 모델—에 대해 인덱스 가능성(indexability)을 증명하고, 첫 번째 모델에 대해 닫힌 형태의 윌틀 인덱스를 유도하며, 두 번째 모델에 대해 효율적인 계산 알고리즘을 제안하여 수치 실험에서 거의 최적의 성능을 보여준다.

ABSTRACT

We consider the problem of scheduling maintenance for a collection of machines under partial observations when the state of each machine deteriorates stochastically in a Markovian manner. We consider two observational models: first, the state of each machine is not observable at all, and second, the state of each machine is observable only if a service-person visits them. The agent takes a maintenance action, e.g., machine replacement, if he is chosen for the task. We model both problems as restless multi-armed bandit problem and propose the Whittle index policy for scheduling the visits. We show that both models are indexable. For the first model, we derive a closed-form expression for the Whittle index. For the second model, we propose an efficient algorithm to compute the Whittle index by exploiting the qualitative properties of the optimal policy. We present detailed numerical experiments which show that for multiple instances of the model, the Whittle index policy outperforms myopic policy and can be close-to-optimal in different setups.

연구 동기 및 목표

• 기계의 상태가 부분적으로만 관측 가능한 상황에서 유지보수 스케줄링 문제를 해결하고자 한다.
• 관측이 전혀 없고, 방문 시에만 관측 가능한 두 관측 제도 하에서 유지보수 스케줄링 문제를 무 restless 다수의 손잡이 띠(RMAB)로 모델링하고자 한다.
• 두 모델의 인덱스 가능성과 윌틀 인덱스를 효율적으로 계산할 수 있는 방법을 도출하고자 한다.
• 다양한 시스템 설정에서 윌틀 인덱스 정책의 성능을 사소한 정책(myopic) 및 거의 최적의 기준과 비교하고자 한다.

제안 방법

• 각 기계의 상태가 마르코프 과정으로 진화하는 무 restless 다수의 손잡이 띠(RMAB)로 기계 유지보수 문제를 모델링한다.
• 윌틀의 인덱스 접근법을 적용하여 유지보수의 한계적 이득에 기반해 기계를 우선순위 정렬하는 정책을 도출한다.
• 라그랑주 이완을 통한 최적 정책의 구조 분석을 통해 두 관측 모델 모두에 대해 인덱스 가능성의 증명을 수행한다.
• 마르코프 상태 전이 구조의 성질을 이용해 첫 번째 모델(상태 관측 없음)에 대해 윌틀 인덱스의 닫힌 형태 표현식을 도출한다.
• 두 번째 모델(서비스 방문 시에만 관측 가능)에서 윌틀 인덱스를 계산하기 위해 최적 정책의 단조성 및 임계값 성질을 활용한 수치 알고리즘을 제안한다.
• 다양한 시스템 구성에서 윌틀 인덱스 정책이 사소한 정책 및 기준 정책과 비교되어 수치 실험을 수행한다.

실험 결과

연구 질문

• RQ1 부분 관측 가능한 기계 유지보수 시스템에 윌틀 인덱스 정책를 적용할 수 있으며, 이러한 조건 하에서 인덱스 가능성이 확보되는가?
• RQ2 기계 상태가 전혀 관측되지 않는 경우 윌틀 인덱스의 닫힌 형태 표현식은 무엇인가?
• RQ3 상태가 서비스 방문 시에만 관측 가능한 경우 윌틀 인덱스는 어떻게 효율적으로 계산할 수 있는가?
• RQ4 다양한 시스템 설정에서 윌틀 인덱스 정책의 성능은 사소한 정책 및 거의 최적의 정책과 비교해 어떻게 되는가?

주요 결과

• 완전한 관측 불가 모델과 방문 시에만 관측 가능한 모델 모두가 인덱스 가능성이 보장되어 있어 윌틀의 인덱스 정책 적용이 가능하다.
• 첫 번째 모델에 대해 윌틀 인덱스의 닫힌 형태 표현식이 도출되어 계산이 크게 단순화된다.
• 두 번째 모델에 대해 최적 정책의 구조적 성질을 활용한 효율적인 알고리즘이 제안되어 윌틀 인덱스 계산이 빠르게 수행된다.
• 수치 실험을 통해 윌틀 인덱스 정책가 다양한 시스템 인스턴스에서 사소한 정책보다 항상 뛰어난 성능을 보였다.
• 다양한 설정에서 윌틀 인덱스 정책는 거의 최적의 성능에 도달하여 실용적 적용 가능성에서 높은 잠재력을 보였다.