[论文解读] Maintenance of a collection of machines under partial observability: Indexability and computation of Whittle index

Nima Akbarzadeh, Aditya Mahajan|arXiv (Cornell University)|Apr 1, 2021

Advanced Bandit Algorithms Research参考文献 51被引用 2

一句话总结

本文针对部分可观测的机器维护调度问题，提出Whittle索引策略，将问题建模为一个非休息性多机枪问题。证明了在两种观测模型下（完全不可观测和仅在访问时可观测）的可索引性，并为第一种模型推导出闭式Whittle索引，为第二种模型提出高效的计算算法，数值实验表明其性能接近最优。

ABSTRACT

We consider the problem of scheduling maintenance for a collection of machines under partial observations when the state of each machine deteriorates stochastically in a Markovian manner. We consider two observational models: first, the state of each machine is not observable at all, and second, the state of each machine is observable only if a service-person visits them. The agent takes a maintenance action, e.g., machine replacement, if he is chosen for the task. We model both problems as restless multi-armed bandit problem and propose the Whittle index policy for scheduling the visits. We show that both models are indexable. For the first model, we derive a closed-form expression for the Whittle index. For the second model, we propose an efficient algorithm to compute the Whittle index by exploiting the qualitative properties of the optimal policy. We present detailed numerical experiments which show that for multiple instances of the model, the Whittle index policy outperforms myopic policy and can be close-to-optimal in different setups.

研究动机与目标

• 解决在机器状态仅部分可观测时，对一组机器进行维护调度的挑战。
• 在两种观测模式下（无观测和仅在访问时观测）将维护调度问题建模为非休息性多机枪问题。
• 建立两种模型的可索引性，并推导Whittle索引的高效计算方法。
• 在多种系统配置下，通过与贪婪策略和近似最优策略的对比，评估Whittle索引策略的性能。

提出的方法

• 将机器维护问题建模为非休息性多机枪（RMAB），其中每台机器的状态作为马尔可夫过程演化。
• 应用Whittle的索引方法，推导出一种基于维护边际收益优先排序的策略。
• 通过拉格朗日松弛下最优策略的结构分析，证明两种观测模型的可索引性。
• 利用马尔可夫状态转移结构的性质，为第一种模型（无状态观测）推导出Whittle索引的闭式表达式。
• 通过利用最优策略的单调性和阈值特性，提出一种数值算法，用于计算第二种模型（仅在服务访问时可观测）的Whittle索引。
• 通过数值实验，在多种系统配置下对比Whittle索引策略与贪婪策略和基准策略的性能。

实验结果

研究问题

• RQ1 Whittle索引策略能否应用于部分可观测的机器维护系统？在这些条件下是否具有可索引性？
• RQ2 当机器状态从未被观测时，Whittle索引的闭式表达式是什么？
• RQ3 当状态仅在服务访问时可观测时，如何高效计算Whittle索引？
• RQ4 在各种系统配置下，Whittle索引策略的性能与贪婪策略和近似最优策略相比如何？

主要发现

• 完全不可观测模型和仅在访问时可观测的模型均具有可索引性，使得Whittle索引策略可被应用。
• 为第一种模型推导出Whittle索引的闭式表达式，显著简化了计算过程。
• 通过利用最优策略的结构特性，提出了一种高效算法来计算第二种模型的Whittle索引。
• 数值实验表明，Whittle索引策略在多个系统实例中始终优于贪婪策略。
• Whittle索引策略在多种配置下均能实现接近最优的性能，显示出强大的实际应用价值。