[論文レビュー] Maintenance of a collection of machines under partial observability: Indexability and computation of Whittle index

Nima Akbarzadeh, Aditya Mahajan|arXiv (Cornell University)|Apr 1, 2021

Advanced Bandit Algorithms Research参考文献 51被引用数 2

ひとこと要約

本稿では、部分的観測下におけるマシンの予防保全スケジューリング問題を、休息的マルチアームバンディット（RMAB）としてモデル化し、ウィットル指数政策を提案する。2つの観測モデル—完全な非観測と訪問時のみの観測—について指数可能性を証明し、前者に対しては閉形式のウィットル指数を、後者に対しては効率的な計算アルゴリズムを導出。数値実験では、近似的最適性能を示す。

ABSTRACT

We consider the problem of scheduling maintenance for a collection of machines under partial observations when the state of each machine deteriorates stochastically in a Markovian manner. We consider two observational models: first, the state of each machine is not observable at all, and second, the state of each machine is observable only if a service-person visits them. The agent takes a maintenance action, e.g., machine replacement, if he is chosen for the task. We model both problems as restless multi-armed bandit problem and propose the Whittle index policy for scheduling the visits. We show that both models are indexable. For the first model, we derive a closed-form expression for the Whittle index. For the second model, we propose an efficient algorithm to compute the Whittle index by exploiting the qualitative properties of the optimal policy. We present detailed numerical experiments which show that for multiple instances of the model, the Whittle index policy outperforms myopic policy and can be close-to-optimal in different setups.

研究の動機と目的

• マシンの状態が部分的にしか観測できない状況における保全スケジューリングの課題に対処すること。
• 観測の有無に応じた2つの観測制度—観測なしと訪問時のみの観測—の下で、保全スケジューリング問題を休息的マルチアームバンディット（RMAB）としてモデル化すること。
• 両モデルの指数可能性を確立し、ウィットル指数の効率的計算手法を導出すること。
• 複数のシステム設定において、ウィットル指数政策の性能を、ミオピック政策および近似的最適政策のベンチマークと比較すること。

提案手法

• 各マシンの状態がマルコフ過程として進化する休息的マルチアームバンディット（RMAB）としてマシン保全問題をモデル化する。
• ウィットルの指数アプローチを適用し、保全のマージナル利益に基づいてマシンを優先順位付けする方策を導出する。
• ラグランジュ緩和に基づく最適方策の構造を分析することで、2つの観測モデルの両方について指数可能性を証明する。
• マルコフ的状態遷移構造の性質を用いて、最初のモデル（状態を観測しない）におけるウィットル指数の閉形式表現を導出する。
• 最適方策の単調性およびしきい値特性を活用することで、2番目のモデル（訪問時のみ観測可能）におけるウィットル指数の数値的計算アルゴリズムを提案する。
• 複数のシステム設定において、数値実験を通じてウィットル指数政策をミオピック政策およびベンチマーク政策と比較する。

実験結果

リサーチクエスチョン

• RQ1 部分的観測下のマシン保全システムにウィットル指数政策を適用可能であり、その条件下でも指数可能であるか？
• RQ2 マシン状態が一切観測されない場合のウィットル指数の閉形式表現は何か？
• RQ3 状態がサービス訪問時のみ観測可能である場合、ウィットル指数をどのように効率的に計算できるか？
• RQ4 さまざまなシステム設定において、ウィットル指数政策の性能はミオピック政策および近似的最適政策と比べてどうなるか？

主な発見

• 完全な非観測モデルと訪問時のみ観測可能なモデルの両方が指数可能であり、ウィットルの指数政策の適用が可能である。
• 最初のモデルに対しては、閉形式のウィットル指数が導出され、計算が著しく簡素化される。
• 2番目のモデルにおけるウィットル指数の計算には、最適方策の構造的性質を活用した効率的アルゴリズムが提案された。
• 数値実験により、ウィットル指数政策は複数のシステム例においてミオピック政策を一貫して上回ることが示された。
• さまざまな設定において、ウィットル指数政策は最適に非常に近い性能を達成しており、実用的意義が強いことが示された。