[論文レビュー] Managing engineering systems with large state and action spaces through deep reinforcement learning

Charalampos Andriotis, Konstantinos G. Papakonstantinou|arXiv (Cornell University)|Nov 5, 2018

Safety Systems Engineering in Autonomy被引用数 19

ひとこと要約

本論文は、高次元の状態空間と行動空間を持つ大規模なエンジニアリングシステムにおける効率的な意思決定を可能にする、深層強化学習フレームワークであるDeep Centralized Multi-agent Actor Critic (DCMAC)を提案する。行動の因子分解表現と集中型価値関数を組み合わせることで、DCMACはオフポリシー学習を用いて最適なライフサイクルポリシーを学習し、シミュレーションにおいてDQN、正確なMDP解法、および従来の状態依存または周期的メンテナンスポリシーを上回る性能を発揮する。

ABSTRACT

Decision-making for engineering systems can be efficiently formulated as a Markov Decision Process (MDP) or a Partially Observable MDP (POMDP). Typical MDP and POMDP solution procedures utilize offline knowledge about the environment and provide detailed policies for relatively small systems with tractable state and action spaces. However, in large multi-component systems the sizes of these spaces easily explode, as system states and actions scale exponentially with the number of components, whereas environment dynamics are difficult to be described in explicit forms for the entire system and may only be accessible through numerical simulators. In this work, to address these issues, an integrated Deep Reinforcement Learning (DRL) framework is introduced. The Deep Centralized Multi-agent Actor Critic (DCMAC) is developed, an off-policy actor-critic DRL approach, providing efficient life-cycle policies for large multi-component systems operating in high-dimensional spaces. Apart from deep function approximations that parametrize large state spaces, DCMAC also adopts a factorized representation of the system actions, being able to designate individualized component- and subsystem-level decisions, while maintaining a centralized value function for the entire system. DCMAC compares well against Deep Q-Network (DQN) solutions and exact policies, where applicable, and outperforms optimized baselines that are based on time-based, condition-based and periodic policies.

研究の動機と目的

• 指数的に増加する状態空間と行動空間を持つ大規模なマルチコンponentエンジニアリングシステムの管理という課題に対処すること。
• 環境のダイナミクスが明示的なモデル化が困難であり、数値シミュレータからのみアクセス可能なシステムにおける有効な意思決定を可能にすること。
• 個々のコンポonentレベルの意思決定をサポートしつつも、システム全体の最適性を維持できるスケーラブルでサンプル効率の高い強化学習アプローチを開発すること。
• 複雑で高次元の環境において、従来のメンテナンスポリシー（時間ベース、状態依存、周期的）および標準的なDRLベースラインを上回ること。

提案手法

• 大規模な状態空間と行動空間を持つマルチエージェントシステム向けに、オフポリシーのアクタクリティック深層強化学習フレームワークであるDCMACを提案する。
• 深層ニューラルネットワークを用いて価値関数および方策関数を近似し、高次元連続状態空間における関数近似を可能にする。
• 因子分解された行動表現を用いることで、コンポーネントおよびサブシステムの個別化された制御を可能にするとともに、グローバル最適化のための集中型価値関数を維持する。
• オフポリシーのデータを用いて方策を学習することで、サンプル効率を向上させ、経験リプレイからの安定した学習を可能にする。
• 集中型学習と分散型実行を統合することで、マルチコンポーネントシステムにおけるスケーラブルな協調を実現する。
• 明示的な解析的定式化を必要とせず、数値シミュレータを活用してシステムのダイナミクスをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 高次元の状態空間と行動空間を持つエンジニアリングシステムを、深層強化学習フレームワークが効果的に管理できるか？
• RQ2 因子分解された行動表現を有する集中型価値関数は、マルチコンポーネントシステムにおける方策学習をどのように改善するか？
• RQ3 DCMACは、DQNやヒューリスティックなメンテナンスポリシーといった標準的なDRL手法と比較して、複雑なエンジニアリング環境でどの程度優れた性能を発揮するか？
• RQ4 指数的に増加する状態-行動空間を有するシステムに適用した場合、DCMACはスケーラビリティとサンプル効率を維持できるか？

主な発見

• DCMACは、累積報酬および方策の安定性の観点で、Deep Q-Network (DQN)の解法を上回る優れた性能を達成する。
• 正確なMDP解法が計算的に非現実的になるより大きなシステムにおいて、DCMACはその解法を上回る。
• 時間ベース、状態依存、周期的メンテナンスポリシーに基づく最適化されたベースラインを著しく上回る性能を発揮する。
• 因子分解された行動表現の使用により、集中型価値関数学習を通じてシステム全体の最適性を保ちつつ、効果的な個別化された意思決定が可能になる。
• オフポリシー学習メカニズムによりサンプル効率が向上し、限られたシミュレータ相互作用からの効果的な学習が可能になる。