[论文解读] Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control

Dimitri P. Bertsekas|arXiv (Cornell University)|Aug 20, 2021

Advanced Control Systems Optimization被引用 33

一句话总结

本文分析 AlphaZero/TD-Gammon 的价值空间近似与 rollouts（展开）思想，并展示它们在确定性与随机性最优控制中的广泛适用性，包括与模型预测控制（MPC）、自适应控制和分散式控制的整合。

ABSTRACT

In this paper we aim to provide analysis and insights (often based on visualization), which explain the beneficial effects of on-line decision making on top of off-line training. In particular, through a unifying abstract mathematical framework, we show that the principal AlphaZero/TD-Gammon ideas of approximation in value space and rollout apply very broadly to deterministic and stochastic optimal control problems, involving both discrete and continuous search spaces. Moreover, these ideas can be effectively integrated with other important methodologies such as model predictive control, adaptive control, decentralized control, discrete and Bayesian optimization, neural network-based value and policy approximations, and heuristic algorithms for discrete optimization.

研究动机与目标

• 通过将在线决策与控制中的离线训练联系起来来激发本研究。
• 提供一个统一的抽象框架，展示价值空间近似与 rollouts 如何迁移到控制问题。
• 证明将 AlphaZero 的思想与模型预测控制、自适应控制和分散控制相结合的可行性。
• 讨论与离散与贝叶斯优化，以及基于神经网络的价值、策略近似的联系。

提出的方法

• 提出一个统一的抽象数学框架。
• 表明 AlphaZero/TD-Gammon 的价值空间近似思想适用于确定性和随机性最优控制。
• 证明适用于离散和连续搜索空间。
• 说明与模型预测控制、自适应控制和分散控制的结合。
• 结合基于神经网络的价值和策略近似以及启发式优化方法。

实验结果

研究问题

• RQ1 AlphaZero/TD-Gammon 的思想如何推广到超出博弈的最优控制问题？
• RQ2 价值空间近似和 rollouts 的概念能否与 MPC、自适应控制和分散控制框架相结合？
• RQ3 在这些广义方法中，离散搜索空间与连续搜索空间的作用是什么？
• RQ4 这些思想如何与基于神经网络的近似以及贝叶斯优化技术相互作用？

主要发现

• 来自 AlphaZero/TD-Gammon 的价值空间近似与 rollout 概念推广到确定性与随机性最优控制。
• 这些思想可以有效地与 MPC、自适应控制、分散控制和优化方法相结合。
• 该框架适用于离散和连续搜索空间。
• 基于神经网络的价值和策略近似可以被整合到统一方法中。
• 该方法论与离散和贝叶斯优化以及启发式离散优化技术相关联。