[论文解读] Managing engineering systems with large state and action spaces through deep reinforcement learning

Charalampos Andriotis, Konstantinos G. Papakonstantinou|arXiv (Cornell University)|Nov 5, 2018

Safety Systems Engineering in Autonomy被引用 19

一句话总结

本文提出深度集中式多智能体演员-critic框架（DCMAC），一种深度强化学习框架，可在高维状态与动作空间的大规模工程系统中实现高效决策。通过结合因子化动作表示与集中式价值函数，DCMAC 通过离策略训练学习最优全生命周期策略，在仿真中优于DQN、精确MDP解法以及传统基于状态或周期性的维护策略。

ABSTRACT

Decision-making for engineering systems can be efficiently formulated as a Markov Decision Process (MDP) or a Partially Observable MDP (POMDP). Typical MDP and POMDP solution procedures utilize offline knowledge about the environment and provide detailed policies for relatively small systems with tractable state and action spaces. However, in large multi-component systems the sizes of these spaces easily explode, as system states and actions scale exponentially with the number of components, whereas environment dynamics are difficult to be described in explicit forms for the entire system and may only be accessible through numerical simulators. In this work, to address these issues, an integrated Deep Reinforcement Learning (DRL) framework is introduced. The Deep Centralized Multi-agent Actor Critic (DCMAC) is developed, an off-policy actor-critic DRL approach, providing efficient life-cycle policies for large multi-component systems operating in high-dimensional spaces. Apart from deep function approximations that parametrize large state spaces, DCMAC also adopts a factorized representation of the system actions, being able to designate individualized component- and subsystem-level decisions, while maintaining a centralized value function for the entire system. DCMAC compares well against Deep Q-Network (DQN) solutions and exact policies, where applicable, and outperforms optimized baselines that are based on time-based, condition-based and periodic policies.

研究动机与目标

• 解决管理具有指数级增长状态与动作空间的大型多组件工程系统的挑战。
• 在环境动力学过于复杂而无法显式建模、仅可通过数值模拟器访问的系统中实现有效决策。
• 开发一种可扩展、样本高效的强化学习方法，支持组件级个性化决策，同时保持系统整体最优性。
• 在复杂、高维环境中，优于传统维护策略（基于时间、基于状态、周期性）和标准深度强化学习基线方法。

提出的方法

• 提出DCMAC，一种适用于大状态与动作空间多智能体系统的离策略演员-critic深度强化学习框架。
• 采用深度神经网络近似价值函数与策略函数，实现在高维连续状态空间上的函数逼近。
• 使用因子化动作表示，实现对组件与子系统的个性化控制，同时通过集中式价值函数实现全局优化。
• 利用离策略数据训练策略，提升样本效率，并支持从经验回放中稳定学习。
• 采用集中式训练与去中心化执行相结合的机制，实现在多组件系统中的可扩展协调。
• 利用数值模拟器建模系统动力学，无需依赖显式的解析公式。

实验结果

研究问题

• RQ1 深度强化学习框架能否有效管理具有大规模、高维状态与动作空间的工程系统？
• RQ2 具有因子化动作表示的集中式价值函数在多组件系统中如何提升策略学习效果？
• RQ3 DCMAC在复杂工程环境中，能在多大程度上优于DQN等标准深度强化学习方法及启发式维护策略？
• RQ4 当应用于状态-动作空间呈指数级增长的系统时，该框架能否保持可扩展性与样本效率？

主要发现

• DCMAC在累积回报与策略稳定性方面均优于深度Q网络（DQN）方法。
• 在更大系统中，该框架优于精确MDP解法，后者因计算不可行而无法应用。
• DCMAC显著超越基于时间、状态和周期性维护策略的优化基线方法。
• 因子化动作表示的使用实现了有效的个性化决策，同时通过集中式价值函数学习保持了系统整体最优性。
• 离策略训练机制提升了样本效率，使在有限模拟器交互下仍能实现高效学习。