[論文レビュー] Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization

Oluwaseyi Ogunfowora, Homayoun Najjaran|arXiv (Cornell University)|Jul 7, 2023

Reliability and Maintenance Optimization被引用数 5

ひとこと要約

本稿は、リモートメンテナンス計画および最適化における強化学習（RL）およびディープ強化学習（DRL）の応用に関する包括的な文献レビューを提示している。本研究では、システムタイプ、メンテナンス戦略、学習アプローチ、最適化目的に基づいて既存の研究を分類するための分類法を提案し、スマートメンテナンスシステム分野における主な手法、発見、研究ギャップを強調している。

ABSTRACT

Systems and machines undergo various failure modes that result in machine health degradation, so maintenance actions are required to restore them back to a state where they can perform their expected functions. Since maintenance tasks are inevitable, maintenance planning is essential to ensure the smooth operations of the production system and other industries at large. Maintenance planning is a decision-making problem that aims at developing optimum maintenance policies and plans that help reduces maintenance costs, extend asset life, maximize their availability, and ultimately ensure workplace safety. Reinforcement learning is a data-driven decision-making algorithm that has been increasingly applied to develop dynamic maintenance plans while leveraging the continuous information from condition monitoring of the system and machine states. By leveraging the condition monitoring data of systems and machines with reinforcement learning, smart maintenance planners can be developed, which is a precursor to achieving a smart factory. This paper presents a literature review on the applications of reinforcement and deep reinforcement learning for maintenance planning and optimization problems. To capture the common ideas without losing touch with the uniqueness of each publication, taxonomies used to categorize the systems were developed, and reviewed publications were highlighted, classified, and summarized based on these taxonomies. Adopted methodologies, findings, and well-defined interpretations of the reviewed studies were summarized in graphical and tabular representations to maximize the utility of the work for both researchers and practitioners. This work also highlights the research gaps, key insights from the literature, and areas for future work.

研究の動機と目的

• 産業システムにおけるメンテナンス計画の最適化という課題に取り組み、コスト削減、可用性の向上、安全性の確保を目的とする。
• 製造および産業システムにおけるメンテナンススケジューリングおよび最適化のための強化学習ベースのアプローチを特定し、分類する。
• 将来的な研究を支援するため、メンテナンスシステム、学習手法、最適化目的の構造的分類法を提供する。
• RLおよびDRLに関する80件以上のレビュー研究から得られた主な手法、発見、制限を要約する。
• 知的メンテナンスシステム分野における将来的な研究方向性を提示し、RL/DRLを活用した研究ギャップを強調する。

提案手法

• 以下の観点に基づいてメンテナンスシステムを分類する多次元分類法を開発した：(1) システムタイプ（単一／複数ユニット）、(2) メンテナンス戦略（予防的／是正的）、(3) 学習アプローチ（モデルベース／モデルフリー）、(4) エージェントアーキテクチャ（単一／複数エージェント）、(5) 最適化目的。
• RLおよびDRLのメンテナンス計画およびスケジューリングへの応用に関する、学術誌および国際会議から抽出した80件以上の研究を収集・分析した。
• 状態監視データの使用、劣化モデル（例：ウィーナー過程、ワイブル分布、ガンマ分布）および予知保全管理（PHM）機能の有無に基づいて研究を分類した。
• DQN、DDQN、PPO、SAC、DDPG、およびマルチエージェントRL（MARL）を含む、核心となるRL/DRLアルゴリズムへのマッピングを実施した。また、メタヒューリスティクスやヒューリスティクスと組み合わせたハイブリッド手法も含めた。
• 図解的および表形式の表現を用いて、研究全体の手法、目的、成果を要約し、明確性と実用性を向上させた。
• アルゴリズム選定、問題定式化、パフォーマンス指標の繰り返しパターンを特定し、主要な知見および研究ギャップを抽出した。

実験結果

リサーチクエスチョン

• RQ1 メンテナンス計画および最適化において、最も一般的に使用されている強化学習およびディープ強化学習アルゴリズムは何か？
• RQ2 単一ユニット対複数ユニットの異なるシステム構成や、予防的対是正的メンテナンス戦略が、RL/DRL手法の選定にどのように影響を与えるか？
• RQ3 RLベースのメンテナンスシステムにおける支配的最適化目的は何か？また、コスト、可用性、信頼性といった産業分野のKPIとどのように一致するか？
• RQ4 一般化、リアルタイムデプロイメント、PHMとの統合の面で、現在のRL/DRL応用における主な制限要因および研究ギャップは何か？
• RQ5 産業用メンテナンス応用において、モデルベースとモデルフリーのRLアプローチは、性能および実用性の観点でどのように比較されるか？

主な発見

• レビューされた研究の大多数は、DQN、DDQN、PPO、SAC、DDPGなどのモデルフリーDRLアルゴリズムを採用しており、データ駆動型でエンドツーエンドのトレーニングアプローチへの強い傾向がうかがえる。
• マルチエージェントRLは、特にメンテナンススケジューリングとリソース割り当ての共同最適化を目的とした複数ユニットシステムで増加して使用されているが、単一エージェントアプローチが依然として主流である。
• モデルベース手法は一般的ではないが、既知の劣化プロセス（例：ウィーナー過程やガンマ過程）が存在する状況では、収束速度の速さとサンプル効率の高さから、有望な成果を示している。
• 多数の研究がPHM機能（例：残存耐用年数予測）を前提としており、予知保全と統合することが、効果的なRLベースのメンテナンス計画の実現に不可欠であると示唆している。
• 最も一般的な最適化目的はコスト最小化（45％の研究）であり、次に可用性最大化（20％）が続く。利益最大化やリソース最適化に注目した研究は少数にとどまる。
• 急速な関心の高まりにもかかわらず、実際の産業データを用いたモデル検証を行った研究はわずかにとどまっている。これは、シミュレーションベースの研究と実世界への展開との間のギャップを示している。