[論文レビュー] Dynamic Repair and Maintenance of Heterogeneous Machines Dispersed on a Network: A Rollout Method for Online Reinforcement Learning

Dongnuan Tian, Rob Shone|arXiv (Cornell University)|Feb 22, 2026

Reliability and Maintenance Optimization被引用数 0

ひとこと要約

この論文は、 interruptible switching times を持つネットワーク上の複数の異種マシンを維持する単一修理担当者の有限状態MDPを定式化し、特定のケースで最適な指標ベースのヒューリスティックを開発し、それを rollout ベースのオンラインポリシー改善（OPI）に Reliability-weighted safety を組み合わせて強化し、急速に変化するシステムでほぼ最適な性能を示す。

ABSTRACT

We consider a problem in which a single repairer is responsible for the maintenance and repair of a collection of machines, positioned at different locations on a network of nodes and edges. Machines deteriorate according to stochastic processes and incur increasing costs as they approach complete failure. The times needed for repairs to be performed, and the amounts of time needed for the repairer to switch between different machines, are random and machine-dependent. The problem is formulated as a Markov decision process (MDP) in which the objective is to minimize long-run average costs. We prove the equivalence of an alternative formulation based on rewards and use this to develop an index heuristic policy, which is shown to be optimal in certain special cases. We then use rollout-based reinforcement learning techniques to develop a novel online policy improvement (OPI) approach, which uses the index heuristic as a base policy and also as an insurance option at decision epochs where the best action cannot be selected with sufficient confidence. Results from extensive numerical experiments, involving randomly-generated network layouts and parameter values, show that the OPI heuristic is able to achieve close-to-optimal performance in fast-changing systems with state transitions occurring 100 times per second, suggesting that it is suitable for online implementation.

研究の動機と目的

• stochastic なマシン劣化と interruptible switching times を持つネットワークベースの動的修理・保守問題をモデル化する。
• 特定のケースで最適となる action 選択の指標ベースヒューリスティックを開発する。
• rollout を介したオンラインポリシー改善（OPI）を導入して基底指標ポリシーを改善する。
• 信頼性ウェイトを用いた安全機構を導入し、信頼区間の下での意思決定を支配する。
• 大規模な数値実験を通じて提案手法の性能を示す。

提案手法

• 系を一様化して離散時間プロセスへ変換する有限状態・連続時間MDPとして定式化する。
• コスト c(x) を増加するマシンコストの総和として定義し、行動に依存する等価なコスト関数 tilde c(x,a) を示す。
• 定常ポリシーの下で長期平均コスト g_theta と tilde{g}_theta が等しいことを証明する。
• スイッチング決定のための指標ベースヒューリスティックを開発し、特定のケースで最適性を証明する。
• rollout ベースの強化学習を適用して指標ポリシーを改善し、不確かな行動を上書きするための信頼性ウェイトに基づく安全機構を組み込む。
• ランダムに生成されたネットワークで数値実験を行い、性能とパラメータの影響を評価する。

Figure 2 : A star network with 6 machines and a radius $r=3$ .

実験結果

リサーチクエスチョン

• RQ1 ネットワーク上の interruptible switching を伴う動的修理に対して有限状態MDPをどのように構築できるか。
• RQ2 この設定で指標ベースヒューリスティックが最適となるのはいつで、どのように特徴づけられるか。
• RQ3 rollout ベースのオンラインポリシー改善（OPI）は指標ポリシーを改善できるか、そして安全機構はどのように設計すべきか。
• RQ4 ネットワーク構造、切替時間、劣化ダイナミクスはポリシーの性能と安定性にどのように影響するか。
• RQ5 提案手法はオンライン展開に適した急速に変化するシステムで近似最適性能を達成するか。

主な発見

• モデルは等価コスト定式化を備えた有限状態MDPを生み出し、指標ベースのヒューリスティックを促進する。
• 指標ポリシーは特定のケースで最適であることが証明される。
• rollout を用いたOPIは指標ポリシーを改善し、行動が不確かな場合に信頼性ウェイトに基づく安全機構を組み込む。
• 状態遷移が秒あたり100回程度の高速なシステムにおいてOPIヒューリスティックがほぼ最適に近い性能を達成し、オンライン適用性を支持する。
• ネットワーク定式化は移動/設置の効果と interruptible switching を捉え、よりリッチな意思決定モデリングを可能にする。

Figure 5 : Division of time into periods $T_{1},S_{1},T_{2},S_{2},...$ under the index heuristic.