[论文解读] Dual Control with Active Learning using Gaussian Process Regression

Tansu Alpcan|arXiv (Cornell University)|May 11, 2011

Gaussian Processes and Bayesian Inference参考文献 11被引用 9

一句话总结

该论文提出了一种双控框架，通过主动学习的高斯过程回归联合优化系统辨识与控制。通过香农熵量化信息增益，该方法迭代选择在探索（数据获取）与利用（性能优化）之间平衡的控制动作，仅用少量观测即可实现对混沌与非线性系统的稳定控制——在30步内完成对逻辑斯蒂映射和倒立摆系统的验证。

ABSTRACT

In many real world problems, control decisions have to be made with limited information. The controller may have no a priori (or even posteriori) data on the nonlinear system, except from a limited number of points that are obtained over time. This is either due to high cost of observation or the highly non-stationary nature of the system. The resulting conflict between information collection (identification, exploration) and control (optimization, exploitation) necessitates an active learning approach for iteratively selecting the control actions which concurrently provide the data points for system identification. This paper presents a dual control approach where the information acquired at each control step is quantified using the entropy measure from information theory and serves as the training input to a state-of-the-art Gaussian process regression (Bayesian learning) method. The explicit quantification of the information obtained from each data point allows for iterative optimization of both identification and control objectives. The approach developed is illustrated with two examples: control of logistic map as a chaotic system and position control of a cart with inverted pendulum.

研究动机与目标

• 为解决在观测稀少、成本高昂或非平稳条件下的非线性系统控制挑战。
• 解决在动态控制环境中信息获取（探索）与性能优化（利用）之间的固有冲突。
• 开发一种显式平衡辨识与控制目标的联合、迭代优化框架，采用贝叶斯学习方法。
• 在缺乏先验知识或大量数据的情况下，实现对黑箱系统的有效控制。
• 将信息论、机器学习与控制理论整合为统一的多目标控制策略。

提出的方法

• 该方法使用高斯过程回归，从稀疏、顺序的观测中建模未知的非线性系统动态。
• 通过后验GP分布的香农熵量化每次观测的信息增益，实现对数据价值的显式度量。
• 在一阶前瞻框架下，构建加权求和的多目标优化，以平衡控制性能与信息获取。
• 控制器通过优化结合期望控制性能与期望信息增益的代价函数，选择下一步动作。
• 该框架以迭代方式实现：观测 → 更新GP模型 → 优化下一步动作，其中不确定性与噪声通过核函数和噪声方差参数建模。
• 该方法在两个动态系统上进行了验证：混沌的逻辑斯蒂映射与小车-倒立摆系统，采用固定的核函数与噪声方差值。

实验结果

研究问题

• RQ1 在非线性、动态控制环境中，如何显式量化每次观测的信息增益？
• RQ2 在数据有限的系统中，探索（信息获取）与利用（控制性能）之间的最优权衡是什么？
• RQ3 高斯过程回归是否能在控制背景下，仅用少量观测数据点有效建模未知系统动态？
• RQ4 基于熵的信息度量如何整合进实时、迭代的控制框架中？
• RQ5 当观测成本高昂且非平稳时，控制混沌与非线性系统可达到何种性能？

主要发现

• 所提出的双控方法在仅使用少量观测的情况下，30步内成功稳定了逻辑斯蒂映射，控制误差在目标值的10%以内。
• 对于小车-倒立摆系统，该方法在数据极少的情况下实现了稳定的位置控制，表现出对系统非线性和不确定性的强鲁棒性。
• 利用熵作为信息度量，实现了有效的主动学习，其中每个控制动作均被选择以最大化信息增益，同时保持控制性能。
• 该迭代式、基于反馈的框架即使在初始缺乏系统知识的情况下，也能实现持续的模型优化与性能提升。
• 结果表明，通过熵实现的信息量化显式地支持了黑箱控制中探索与利用之间的原则性权衡。
• 该方法在数据稀缺环境中优于传统方法，通过贝叶斯学习共同优化辨识与控制目标。